Прогоны

Прогон — набор тест-кейсов и чек-листов, которые проходят в рамках одного цикла тестирования. Прогон может одновременно содержать тест-кейсы и чек-листы.

Создание прогона

Важно

При создании прогона в нем сохраняются копии исходных тест-кейсов или чек-листов. Любые изменения этих тест-кейсов или чек-листов после создания прогона не повлекут изменения в прогоне.

Прогон можно создать несколькими способами.

Создание прогона во вкладках «Кейсы» или «Чек-листы»

Выберите элементы при помощи чек-боксов и нажмите на кнопку «Создать прогон» (цифра 1). Если отметить чек-бокс папки, то будут отмечены все вложенные в нее элементы.

Откроется окно создания нового прогона (цифра 2). Для создания прогона необходимо ввести его название (цифра 3). Также можно заполнить описание (цифра 4), пометить прогон тегами (цифра 5), а также выбрать конфигурации для его прохождения (цифра 6). В окне создания прогона отображаются число выбранных тест-кейсов (цифра 7).

Создание прогона из папки

Прогон можно создать из тест-кейсов или чек-листов, содержащихся в папке. Нажмите на иконку «три точки» в шапке папки (цифра 1) и выберите пункт «Создать прогон» (цифра 2). Откроется окно создания нового прогона, в который добавлены тестовые документы из папки.

Создание прогона на вкладке «Прогоны»

Находясь на вкладке «Прогоны», нажмите на кнопку «+ Новый прогон». Откроется окно создания нового прогона.

Копирование существующего прогона

Создание нового прогона путем копирования может быть актуально, если у вас есть стабильные наборы тестов для определенных тестовых циклов. Например, полный регрессионный набор.

В копию попадут новые версии всех тест-кейсов и чек-листов из исходного прогона. Если какие-либо кейсы и чек-листы были удалены после создания исходного прогона, они не попадут в копию прогона.

Для копирования прогона отметьте чек-бокс исходного прогона (цифра 1) и нажмите на кнопку «Скопировать» (цифра 2).

Откроется диалог «Копирование прогонов». Если вам важно сохранить распределение исполнителей как в исходном прогоне, отметьте в нем чек-бокс «Скопировать с исполнителями» и нажмите «Скопировать».

Если в исходном прогоне есть автотесты, в диалоге выводится предупреждение: автотесты, не имеющие связь с тест-кейсами, скопированы не будут.

Создание прогона на основе отчета о результатах автотестов

В окне создания прогона выберите способ «Загрузка отчета» (цифра 1). Выберите один из двух форматов отчета — Junit XML или Allure (цифра 2) — и выберите файл для загрузки (цифра 3). В созданном прогоне будут отображаться результаты прохождения автотестов.

Загрузить можно один файл размером не более 50 МБ. Для JUnit поддерживаются форматы .xml или .zip-архив с XML-файлами, для Allure — .zip-архив с сырыми данными allure-results.

Создание прогона через запуск автотестов

В окне создания прогона выберите способ «Запуск автотестов» (цифра 1). Выберите одну из подключенных CI/CD систем (цифра 2), проект из репозитория с автотестами (цифра 3) и ветку (цифра 4).

После создания прогона будет запущен пайплайн в связанной CI/CD системе. По мере выполнения автотестов в прогоне будут появляться их результаты. Подробнее о функционале автотестов.

Конфигурации прогонов

Для создания конфигураций нажмите на иконку редактора конфигураций во вкладке «Прогоны».

В редакторе заполните имя конфигурации и ее значения. Например: окружение, браузер, версия сборки.

После сохранения изменений конфигурации будут доступны для выбора в окне создания и редактирования прогона.

Плеер прогонов

Плеер — экран, на котором проходят прогон. Чтобы открыть плеер, нажмите на название прогона в таблице.

Прогоны имеют несколько статусов:

• «Готов» — прогон не начат.
• «В работе» — прогон начат.
• «Пауза» — прохождение прогона приостановлено.
• «Завершен» — прогон завершен.

Статус прогона показан в шапке плеера рядом с его ID и названием. Там же находятся кнопки «Редактировать» и «Отчет».

По нажатию на кнопку «Запуск»:

1. В плеере запускается таймер прохождения прогона;
2. Статус прогона меняется с «Готов» на «В работе»;
3. Вместо кнопки «Запуск» отображается кнопка «Пауза». Во время паузы останавливается таймер прогона, невозможно выполнение тестов;
4. Появляется возможность проставлять статус кейсам и чек-листам;
5. Становится активной кнопка «Завершить», по нажатию на которую завершается прохождение прогона.

Под кнопками выводится время начала и окончания прогона, затраченное время и шкала прогресса.

Если в прогоне есть автотесты, доступные для запуска, рядом появляется кнопка «Запуск автотестов». Она активна, только пока прогон в статусе «В работе». По нажатию открывается диалог выбора CI/CD-системы, проекта и ветки: автотесты запускаются в рамках текущего прогона, новый прогон не создается. Если перед нажатием отметить чек-боксы тестов в таблице, запуск ограничится ими.

Вкладки плеера

В плеере пять вкладок:

• «Тестовый набор» — таблица тестов прогона.
• «Информация» — описание прогона, его теги и конфигурации.
• «История» — история изменений прогона. Подробнее — История редактирования.
• «Баги» — баг-репорты, заведенные в этом прогоне. Подробнее — Баги.
• «Комментарии» — комментарии к прогону. Подробнее — Комментарии.

У вкладок «Тестовый набор», «Баги» и «Комментарии» в заголовке есть счетчик. Он показывается только у открытой вкладки.

Совместная работа

Если прогон изменил другой пользователь, в плеере появляется предупреждение «Прогон обновлен пользователем …» с кнопками «Ок» (скрыть предупреждение) и «Обновить» (перезагрузить данные прогона). Аналогичное предупреждение появляется в окне прохождения, если открытый тест изменил другой пользователь.

Показ предупреждения о прогоне зависит от настроек уведомлений.

Состав прогона

Тесты прогона перечислены в таблице на вкладке «Тестовый набор».

Панель инструментов таблицы

Над таблицей находятся:

• поиск по названию теста;
• фильтр по полям «Путь», «Приоритет», «Статус», «Исполнитель». Подробнее — Фильтры;
• кнопка-шестерёнка, которая открывает настройку колонок: показ, скрытие и перестановку.

Редактирование прогона

Для редактирования названия, описания, тегов и конфигураций прогона нажмите на иконку «Редактировать» в шапке плеера. Откроется диалоговое окно.

После того, как прогон будет пройден и его статус изменится на «Завершен», его редактирование будет невозможно. Если необходимо отредактировать прогон после его прохождения, нажмите на кнопку «Запуск» (для возобновления прогона), внесите соответствующие изменения и снова нажмите на кнопку «Завершить».

Полезная информация

Что делать, если при прохождении тест-кейсов или чек-листов были созданы баг-репорты и комментарии, но потом стало понятно, что для продолжения прохождения нужно обновить документацию?

После удаления из прогона кейса или чек-листа, при прохождении которых были созданы баг-репорты или комментарии, данные баг-репорты и комментарии продолжат отображаться на экране прохождения соответствующего элемента, если вы вновь добавите те же тест-кейсы и чек-листы в прогон (например, после их обновления) такие баг-репорты и комментарии отображаются после всех шагов и чеков.

Сортировка и порядок тестов

Вы можете отсортировать тесты в прогоне по одному из столбцов таблицы. При этом сортировка индивидуальна и видна только вам. Чтобы зафиксировать текущий порядок для всех, нажмите «Сохранить сортировку» — кнопка доступна, только когда не применены поиск и фильтр.

Порядок тестов можно менять и вручную, перетаскивая строки. Перетаскивание отключено, пока активен поиск или фильтр, а также в завершенном прогоне.

Массовые действия

При отметке одного или нескольких чек-боксов тестов в прогоне появляются кнопки с доступными действиями: удаление тестов из прогона (цифра 1) и массовое назначение исполнителей (цифра 2). Исполнителей также можно назначать на каждый тест по-отдельности, нажав на поле выбора исполнителя (цифра 3).

Добавление кейсов или чек-листов через плеер прогона

Добавление в прогон новых кейсов и чек-листов происходит одинаково. Рассмотрим этот процесс на примере кейсов.

Нажмите на кнопку «+ Добавить кейсы» (цифра 1). Порядок добавленных тестов можно затем изменить вручную (цифра 2).

В открывшемся окне будут отображаться все кейсы из текущего рабочего пространства за исключением тех, которые уже содержатся в прогоне.

Чтобы найти нужные элементы, можно воспользоваться поиском, фильтром или сортировкой.

Отметьте чек-боксы тех тест-кейсов, которые хотите добавить в прогон (цифра 1). Затем нажмите на кнопку «Добавить» (цифра 2) — выбранные тест-кейсы добавятся в прогон.

Добавление новых элементов в прогон с вкладок «Кейсы» и «Чек-листы»

Добавление новых тест-кейсов или чек-листов в ранее созданный прогон доступно также напрямую из вкладок «Кейсы» и «Чек-листы». Для этого выберите элементы (цифра 1) и нажмите на кнопку «Добавить в прогон» (цифра 2). Если отметить чек-бокс папки, отмечены будут все вложенные элементы.

В открывшемся диалоговом окне выберите один из прогонов (цифра 1) и нажмите на кнопку «Добавить» (цифра 2) — выбранные тесты добавятся в прогон. Добавлять элементы можно в прогоны со статусами «Готов», «В работе» и «Пауза».

Добавление новых элементов в прогон из папок кейсов или чек-листов

Можно добавлять в существующий прогон тест-кейсы или чек-листы, которые содержатся в определенной папке, нажав на иконку меню папки и выбрав «Добавить в прогон».

Исполнители

Если кейсу или чек-листу не назначен исполнитель, то их прохождение доступно всем пользователям, которые добавлены в слоты лицензии и имеют права на редактирование или администрирование данного рабочего пространства. Подробнее — Проекты.

Если кейсу или чек-листу назначен исполнитель, то их прохождение будет доступно только данному пользователю.

В режиме редактирования прогона можно изменить исполнителя кейсов или чек-листов.

Прохождение прогона

Проставление статусов в таблице прогона

Тестам в прогоне можно выставить следующие статусы:

• Пройден
• Провален
• Заблокирован
• Сломан
• Пропущен

Статус элемента может быть проставлен в панели управления статусами в столбце «Статус» (цифра 1) или в окне прохождения, которое будет рассмотрено далее. Выставленный статус отображается в виде иконки соответствующего цвета (цифра 2), а также в шкале прогресса (цифра 3).

Исполнителем записывается пользователь, выставивший статус (цифра 4) — одинаково для тест-кейсов и чек-листов. Автоназначение исполнителя по старту таймера работает только для тест-кейсов.

В таблице отображается прогресс прохождения каждого тест-кейса и чек-листа (цифра 5). В отдельных столбцах указаны счетчики заведенных баг-репортов (цифра 6) и созданных комментариев (цифра 7) по каждому тесту в таблице.

Если статус выставлен всему чек-листу или тест-кейсу, который еще не начат, то такой же статус будет проставлен всем непройденным чекам или шагам внутри него.

Параметризованные тесты помечены в таблице иконкой с номером набора значений. Подробнее — Параметры.

Статистика по тесту

По каждому тесту DoQA считает статистику прохождения:

• «Плановое время» — время, заложенное на прохождение теста;
• «Среднее время» — рассчитано на основе 10 последних попыток;
• «Успешно» — процент успешных попыток из 10 последних;
• «Последние прохождения» — 3 последних статуса с датами.

Все четыре показателя выводятся в правой панели окна прохождения. Рядом с «Последними прохождениями» есть стрелка «Перейти в историю»: она открывает в новой вкладке Историю запуска тест-кейса или чек-листа. Стрелка не показывается для тестов, пройденных автоматизацией.

Краткая карточка со «Средним временем», «Успешно» и тремя последними прохождениями показывается при наведении на цветной индикатор статуса слева от строки в таблице прогона.

Окно прохождения

Для прохождения тест-кейса или чек-листа нажмите на его название в таблице прогона. Тест открывается в боковой панели, ширину которой можно менять. Стрелками «‹» и «›» в шапке панели можно переходить к предыдущему и следующему тесту, счетчик рядом показывает позицию теста в общем числе. В панели две вкладки: «Прохождение» и «История прохождения».

Статус тесту выставляется в выпадающем списке «Статус» в правой панели окна прохождения. Для чек-листа рядом с полем есть иконка-подсказка: «Статус чек-листа присваивается непройденным чекам».

Если у теста есть параметры, их значения показаны на вкладке «Прохождение» блоком «Параметры».

Прохождение кейса

К любому шагу кейса можно добавить баг-репорты (цифра 1) и комментарии (цифра 2). Создание баг-репорта не влияет на статус тест-кейса или чек-листа. Подробнее о создании баг-репортов

Проходить тест-кейс в прогоне можно также отмечая статус каждого шага (цифра 1). При этом в статистике прохождения тестового прогона учитываются только статусы тест-кейсов, но не статусы отдельных шагов.

После проставления статуса первому шагу, автоматически начинается отсчет времени прохождения тест-кейса (цифра 2). Отсчет времени также можно запустить или приостановить нажав на кнопку «Старт»/«Пауза»/«Продолжить» (цифра 3). Счетчик будет остановлен, когда будут проставлены статусы всем шагам или самому тест-кейсу.

После завершения прохождения та же кнопка меняется на «Пройти заново». По нажатию появится подтверждение «Пройти заново»; после подтверждения статус кейса и шагов, а также таймер прохождения будут сброшены, а связанные баги и комментарии удалятся.

Если всем шагам кейса выставлен одинаковый статус «Пройден», «Заблокирован», «Сломан» или «Пропущен», то всему кейсу автоматически выставляется соответствующий статус. Если хотя бы одному шагу выставлен статус «Провален», то всему кейсу выставляется статус «Провален», а всем оставшимся непройденным шагам — статус «Пропущен».

Ранее выбранный статус можно изменить на другой, пока прогон находится в статусе «В работе».

Прохождение чек-листа

К каждому чеку (пункту чек-листа) можно добавить баг-репорты (цифра 1) и комментарии (цифра 2). Создание баг-репорта не влияет на статус тест-кейса или чек-листа. Подробнее о создании баг-репортов

Каждому чеку может быть выставлен один из 5 статусов: Пройден, Провален, Заблокирован, Сломан, Пропущен (цифра 3).

После проставления статуса первому чеку, автоматически начинается отсчет времени прохождения чек-листа (цифра 1). Отсчет времени также можно запустить или приостановить нажав на кнопку «Старт»/«Пауза»/«Продолжить». Счетчик будет остановлен, когда будет проставлен статус чек-листа или всех чеков внутри него.

После завершения прохождения кнопка таймера меняется на «Пройти заново» (цифра 2): статус чек-листа и всех чеков внутри него, а также таймер прохождения будут сброшены, а связанные баги и комментарии удалятся.

При проставлении статуса всем чекам в чек-листе статус самого чек-листа не меняется автоматически, его нужно выбрать в списке «Статус» в правой панели окна прохождения (цифра 3).

Работа с автотестами в прогоне

У тестов, пройденных автоматизацией, в качестве исполнителя указана «Автоматизация», а в правой панели окна прохождения выводится ссылка на Job в CI/CD-системе.

Для таких тестов в правой панели доступна кнопка «Пройти заново» с двумя вариантами:

• «Пройти вручную» — после подтверждения DoQA классифицирует тест-кейс как ручной и открывает список шагов;
• «Автоматически» — перезапуск автотеста.

Кнопка недоступна в завершенном прогоне и у тестов, которым еще не выставлен статус. Подробнее — Автотесты.

История прохождения теста в прогоне

В плеере можно увидеть историю прохождения каждого теста в прогоне. Выберите один из тестов в списке и откройте вкладку «История прохождения» (цифра 1).

У автотестов в качестве исполнителя указана «Автоматизация» (цифра 2). Для получения подробной информации об автоматическом прохождении теста нажмите на кнопку «Подробнее» (цифра 3).

Создание баг-репортов

Если при прохождении тест-кейса или чек-листа обнаружен дефект, нажмите на иконку добавления баг-репорта у соответствующего шага или чека.

Открывается окно для создания баг-репорта, в котором ряд полей уже предзаполнены. Рассмотрим каждое поле подробнее.

В поле «Имя дефекта» подставляется название тест-кейса, при прохождении которого обнаружен баг (цифра 1). Поле обязательно для заполнения. Рядом с полем есть кнопка с иконкой AI — «Сгенерировать название баг-репорта». Она недоступна, если AI не настроен; подробнее — AI-функции.

По умолчанию выставлен средний приоритет бага. Значение можно изменить на «Низкий» и «Высокий» (цифра 2).

Статус баг-репорта по умолчанию «Открыт» (цифра 3), также можно выбрать значения «В работе», «Тестирование», «Закрыт». Если активен чек-бокс «Связь с трекером» (цифра 8), статус «Открыт» нельзя изменить.

Фактический результат по умолчанию не заполнен (цифра 4). Поле обязательно для заполнения.

На основе выбранного шага автоматически подставляется соответствующее ему значение ожидаемого результата (цифра 5). Поле обязательно для заполнения.

В поле «Содержание» предзаполнены данные из описания, предусловий и постусловий тест-кейса, а также описаны шаги воспроизведения дефекта (цифра 6).

При необходимости к баг-репорту можно прикрепить вложения (цифра 7). Допускается любой формат вложения, размер каждого файла не более 10 МБ, не более 50 файлов.

Если настроена интеграция проекта с трекером задач, автоматически отмечается чек-бокс «Связь с трекером» (цифра 8). Для Jira и Битрикс24 появляется дополнительное обязательное поле «Создатель» (цифра 9) — пользователь трекера, от имени которого будет заведена задача. Для YouTrack, Яндекс Трекера, Redmine, GitLab и Kaiten этого поля нет.

Если был выбран чек-бокс «Связь с трекером», баг-репорт создается одновременно в DoQA и в трекере задач. Описание баг-репорта в трекере содержит ссылку на тест-кейс и прогон, в которых был обнаружен дефект.

Завершение прогона

Прогон можно завершить в любое время после его запуска нажатием на кнопку «Завершить». Появится диалог подтверждения «Завершение прогона»: непройденным тестам будет выставлен статус «Пропущен», а все незавершенные запуски тестов в CI/CD будут остановлены.

После подтверждения завершения прогона в плеере отображается время завершения тестирования и затраченное на прогон время.

После завершения прохождения прогона его нельзя редактировать или менять статус элементов. Завершенный прогон можно возобновить, повторно нажав на «Запуск».

Отчет о тестировании

Для просмотра отчета о тестировании нажмите на кнопку «Отчет» в плеере прогона.

В сводном отчете отображается информация:

• время тестирования;
• количество тестов с разбивкой по статусам, в том числе в виде круговой диаграммы;
• процент тестов с обнаруженными дефектами;
• процент ручного и автоматического прохождения тестов;
• разбивка баг-репортов по статусам;
• прогресс прохождения прогона;
• конфигурации прогона;
• статистика прохождения прогона по исполнителям.

Отчет о тестировании можно распечатать или скачать в формате PDF.

Для детального отчета нажмите кнопку «Полный отчет». Помимо данных сводного отчета, в него выводится детальная информация по каждому тест-кейсу и чек-листу. Комментарии в полный отчет не попадают.

Удаление прогона

Для удаления прогона отметьте один или несколько прогонов в таблице (цифра 1) и нажмите на кнопку «Удалить» (цифра 2). Откроется диалог подтверждения «Переместить в корзину».

Важно

Прогон не удаляется безвозвратно: он перемещается в Корзину и хранится там 30 дней. В течение этого срока прогон можно восстановить вместе со статистикой прохождения, комментариями и баг-репортами. По истечении 30 дней прогон удаляется навсегда.