Разбор упавших автотестов

Прогон отработал, часть автотестов красная. Этот сценарий — путь от списка упавших тестов до заведённого баг-репорта: прочитать ошибку, отделить одну общую причину от нескольких разных и связать баг с конкретным автотестом, чтобы его было видно и в прогоне, и в разделе «Баги».

🎯 Задача

Разобрать упавшие автотесты в прогоне: понять, что именно сломалось, сопоставить одинаковые ошибки между тестами и завести на них баг-репорты, не теряя связь с автотестом.

💡 Решение

Открыть прогон, отфильтровать таблицу по статусам «Провален» и «Сломан», прочитать в карточке каждого автотеста блок «Результаты» со стек-трейсом. Одинаковый текст ошибки у нескольких тестов — общая причина: заводите один баг кнопкой «Завести баг» прямо из карточки. DoQA не группирует ошибки автотестов автоматически — типовые ошибки вы сопоставляете сами по тексту. Дальше баг виден на вкладке «Баги» прогона и в разделе «Баги».

📝 Что понадобится

  • Прогон с упавшими автотестами — результаты уже пришли в DoQA. Как они туда попадают — Автотесты; весь путь запуска собран в сценарии Первый прогон автотестов за 30 минут.
  • Право создавать баг-репорты в пространстве — редактирование или администрирование. Без него в карточке автотеста не будет кнопки «Завести баг».
  • Если баги уходят во внешний трекер — настроенная администратором интеграция с трекером. Без неё баг создаётся только в DoQA.

⏱ Время: ≈20 мин

Шаг 1. Открыть прогон и отобрать упавшие тесты

Откройте прогон — нажмите на его название в таблице на вкладке «Прогоны». Тесты прогона перечислены на вкладке «Тестовый набор».

Чтобы не листать весь набор, сузьте таблицу до красных тестов: в панели над таблицей примените фильтр по полю «Статус» и оставьте «Провален» и «Сломан». Автотест «Провален» — тест упал на проверке, «Сломан» — упал из-за ошибки в самом тесте или окружении. У всех автотестов в колонке исполнителя стоит «Автоматизация». Подробнее о панели и фильтрах таблицы — Состав прогона и Фильтры.

✅ Результат: в таблице остались только упавшие автотесты — с ними и работаем.

Шаг 2. Прочитать карточку ошибки автотеста

Нажмите на упавший автотест в таблице — он откроется в боковой панели. Пока результаты не приехали, в карточке висит «Результаты автотестирования все еще обрабатываются». Когда результат есть, в карточке выводится:

  • «Результаты» — заголовок ошибки (её тип и краткое сообщение) и описание со стек-трейсом. Каждый блок можно скопировать целиком по кнопке копирования;
  • «Output» — вывод теста, если он есть в отчёте;
  • «Свойства» — таблица properties автотеста из отчёта, если они были переданы.

Стек-трейс — главное, что отделяет одну причину от другой: смотрите на тип исключения и на строку, где тест упал. Полное описание карточки — Просмотр результата автотеста.

Чтобы понять, впервые тест красный или падает регулярно, откройте вкладку «История прохождения» — она показывает прошлые попытки этого автотеста в прогоне. Стабильно красный тест — это баг; тест, который через раз то зелёный, то красный, — скорее нестабильный (flaky), и его стоит чинить отдельно. Подробнее — История прохождения теста в прогоне и Метрики по автотестам.

✅ Результат: по каждому упавшему автотесту вы видите текст ошибки со стек-трейсом и знаете, падает он впервые или регулярно.

Шаг 3. Сопоставить типовые ошибки

DoQA не собирает упавшие тесты в группы по тексту ошибки — сопоставляйте их сами. Пройдитесь по красным автотестам стрелками «‹» и «›» в шапке боковой панели и сравните блок «Результаты»:

  • одинаковый тип исключения и одна и та же строка в стек-трейсе у нескольких тестов — почти наверняка одна причина (упал общий шаг, отвалился сервис, поменялся локатор). На такую группу заводят один баг-репорт;
  • разные исключения или разные места падения — это разные дефекты, на каждый нужен свой баг.

Так вы отделяете «десять тестов упали от одной причины» от «десять тестов упали по десяти причинам» и не плодите дубли баг-репортов.

✅ Результат: упавшие тесты разложены на группы с общей причиной и на одиночные ошибки — понятно, сколько баг-репортов заводить.

Шаг 4. Завести баг-репорт из карточки автотеста

В карточке автотеста в блоке «Комментарии и баги» нажмите «Завести баг». Откроется форма баг-репорта — часть полей уже предзаполнена данными автотеста.

Для автотеста баг привязывается к элементу прогона целиком: завести баг на отдельный шаг, как в ручном тест-кейсе, нельзя — у автоматически пройденного элемента шагов для этого нет. В готовом баг-репорте вместо ссылки на тест-кейс выводится ссылка на автотест. Подробнее — Баг-репорты на автотестах.

Заполните форму:

  1. В поле «Фактический результат» вставьте текст ошибки из блока «Результаты» — он скопирован на Шаге 2. Поле обязательно для заполнения.
  2. Проверьте «Имя дефекта» и при необходимости поправьте, чтобы название читалось в списке багов. Поле обязательно.
  3. Выставьте «Приоритет» и «Статус» (по умолчанию «Открыт»).
  4. Если настроена интеграция с трекером, автоматически отмечается «Связь с трекером» — баг заведётся сразу и в DoQA, и в трекере. Для Jira и Битрикс24 дополнительно выберите «Создатель».
  5. Нажмите «Сохранить».

Если на Шаге 3 несколько тестов упали от одной причины, заведите один баг-репорт на самом показательном из них, а в описании перечислите остальные затронутые автотесты — так причина будет в одном месте, без дублей. Полное описание полей формы — Создание баг-репортов.

✅ Результат: на упавший автотест заведён баг-репорт со ссылкой на автотест; при включённой интеграции он появился и в трекере.

Шаг 5. Отслеживать баги

Заведённые баги видны в трёх местах:

  • на вкладке «Баги» в плеере прогона — все баги этого прогона;
  • в разделе «Баги» пространства — с фильтром по прогону, приоритету, статусу и создателю. Так вы соберёте баги конкретного прогона автотестов в один список — Раздел «Баги»;
  • в карточке самого автотеста, в блоке «Комментарии и баги».

Статус баг-репорта проходит по значениям «Открыт» → «В работе» → «Тестирование» → «Закрыт». Если для трекера настроена обратная интеграция, статус и приоритет в DoQA обновляются автоматически вслед за трекером — вести статус вручную в двух местах не нужно. Подробнее — Статусы и приоритеты.

Когда причину починили, перезапустите автотест, не выходя из прогона: в его карточке «Пройти заново» → «Автоматически». DoQA сбросит элемент, очистит прежнюю ошибку и запустит пайплайн заново; в прогон приедет новый результат. Убедитесь, что тест стал зелёным. Подробнее — Перезапуск одного автотеста.

✅ Результат: баги упавших автотестов собраны и отслеживаются по статусу, а после фикса вы перепроверяете тест перезапуском прямо из прогона.

⚠️ Возможные трудности

В карточке нет ошибки, хотя тест красный. Проверьте, что фреймворк кладёт сырые данные Allure в allure-results, а не готовый allure-report: с версии 4.0 DoQA обрабатывает только сырые данные. Форматы — Поддерживаемые форматы отчетов.

В карточке нет кнопки «Завести баг». Кнопки «Завести баг» и «Добавить комментарий» показываются только при праве на редактирование прогона. Если их нет — у вас нет прав создавать баг-репорты в этом пространстве.

Не получается завести баг на отдельный шаг автотеста. Так и задумано: у автоматически пройденного элемента баг привязывается к элементу целиком, шагов для отдельного бага в нём нет — Баг-репорты на автотестах.

Пункт «Автоматически» в «Пройти заново» не срабатывает. Перезапуск в CI/CD доступен только автотесту, который хотя бы раз запускался из DoQA: тогда известны интеграция, проект и ветка. Для автотеста, чьи результаты пришли загрузкой отчёта или из doqa-cli, перезапускать нечего — Перезапуск одного автотеста.

Статус бага в DoQA расходится с трекером. Автоматически статус подтягивается из трекера, только если администратор настроил обратную интеграцию. Без неё статус в DoQA и в трекере ведут раздельно — Интеграции с трекерами.

📚 Смотрите также

Последнее обновление: