Документация TMS DoQA

Тема

Каталог автотестов ​

Вкладка «Каталог» раздела «Автотесты» — реестр всех автотестов пространства. Здесь видно, какие тесты падают и почему, насколько они стабильны и что осталось без привязки к тест-кейсам; отсюда же выполняются карантин, привязки и запуск.

Как открыть раздел ​

Откройте пространство и выберите в меню пункт «Автотесты». Раздел содержит две вкладки — «Каталог» и «Кластеры ошибок» (группировка похожих падений, см. Результаты и разбор падений) — и значок настроек. Значок виден пользователям с доступом к настройкам пространства и ведёт в настройки автотестов: CI-подключения, критерии приёмки, автоматический перезапуск, расписания — подробнее в Подключении CI-систем и Автоматике запусков.

Состояние каталога — в адресе страницы

Поиск, фильтры, выбранный узел структуры, режим отображения и открытая карточка сохраняются в URL: ссылкой можно поделиться, и коллега увидит тот же срез. Исключение — фильтр тегов: при открытии страницы по ссылке он не восстанавливается.

Триаж-шапка ​

Сверху каталога — сводка по автотестам пространства. Она учитывает поиск, ветку и фильтры, поэтому показывает состояние именно того среза, с которым вы работаете.

KPI-чипы — счётчики с фильтрацией по клику:

ЧипЧто считает
«Все»все автотесты среза
«Новые фейлы»последний прогон упал, а предыдущий проходил
«Падают»последний прогон упал
«Нестабильные»отмечены как нестабильные (flaky)
«Сломаны»сломанные и заблокированные
«Без прогонов»результатов ещё не было или тест пропускается
«Без кейса»нет привязанного тест-кейса

Клик по чипу фильтрует таблицу; активен только один чип («Все» сбрасывает выбор). Счётчики чипов и фильтр таблицы считаются по одним и тем же правилам — цифра на чипе всегда совпадает с числом строк после клика.

Полоса здоровья показывает доли автотестов по исходу: пройденные, нестабильные, сломанные, упавшие и пропущенные. Каждый автотест учитывается в полосе один раз — по «худшему» из своих признаков.

Панель «Структура» ​

Слева от таблицы — дерево «Все автотесты → источник → namespace». Источник — это CI-интеграция (репозиторий), из которой приходили результаты; автотесты, загруженные без CI-интеграции (отчётом или через API), собираются в узле «Без источника». Выбор узла фильтрует таблицу по источнику и namespace; счётчики узлов показывают число автотестов. Поиск каталога применяется и к дереву панели.

Фильтры и поиск ​

В тулбаре над таблицей: строка поиска (по имени и внешнему ID), кнопка выбора ветки, кнопка сортировки, кнопка «Фильтры» со счётчиком активных фильтров и переключатель режима отображения.

Панель «Фильтры» содержит:

  • состояние стабильности — мультивыбор: стабильные, нестабильные, сломанные, в карантине, отключённые, исправленные;
  • ветка — фильтр по ветке CI; влияет и на показатели стабильности: они считаются в разрезе выбранной ветки;
  • теги — единый фильтр по тегам DoQA и меткам фреймворка из отчётов;
  • источник — конкретная CI-интеграция или «Без источника»;
  • переключатели: только автотесты без кейса, только нестабильные, в карантине.

Сброс фильтров очищает всё, включая KPI-чип и выбор в панели «Структура».

Таблица автотестов ​

Режимы отображения: список (по умолчанию), дерево namespace → класс → тест и «по источникам» — то же дерево, сгруппированное по CI-интеграциям. Очень большие каталоги дерево показывает с предупреждением об усечении (лимит 2000 автотестов). Список подгружается по мере прокрутки, по 50 строк.

Строка списка:

  • имя — статусная точка по исходу последнего прогона, название теста; рядом чипы: число повторных попыток, «Новый фейл», причина последнего падения (категория кластера ошибок — продукт, автоматизация, окружение — либо пометка, что падение ещё не разобрано), значок карантина. Второй строкой — путь namespace / classname, теги DoQA и метка «Без кейса»;
  • стабильность — риск-полоса из 10 последних исходов (старые слева) и процент стабильности;
  • внешний ID («DoQA-id») — см. Внешний ID;
  • последний прогон — относительное время;
  • меню строки: открыть карточку, а при правах на запись — карантин, «Привязать кейс», привязка требования (выбор одного или нескольких требований в диалоге).

Сортировка задаётся кнопкой тулбара, а не заголовками колонок: по серьёзности (по умолчанию — сначала упавшие), имени, проценту стабильности или дате последнего прогона.

Карточка автотеста ​

Клик по строке открывает карточку в панели справа; адрес страницы при этом меняется, так что ссылку на конкретный автотест можно скопировать. Состав карточки (пустые секции не показываются):

  • Шапка — статус-бейдж («Стабильный», «Падает», «Сломан», «Нестабильный», «Пропущен»), внешний ID с кнопкой копирования, путь namespace / classname. У автотеста без кейса — метка «Без кейса» с кнопкой привязки.
  • Действия (при правах на запись) — «Запустить» и «Карантин» / «Снять карантин». Запуск открывает тот же диалог, что и массовое действие, на один автотест (см. Массовые действия); форма предзаполняется пресетами запуска.
  • Статкарта — процент стабильности, флипы (смены «прошёл ↔ упал»), средняя длительность, дата последнего фейла и последнего прогона.
  • Авто-анализ причины — категория причины по кластеру ошибок последнего падения: продукт, автоматизация, окружение — либо пометка, что падение ещё не разобрано.
  • История прогонов — тренд последних исходов и список прогонов: номер, статус, дата, ветка, короткая ошибка. Фильтр «Все / Только фейлы», кнопка «Показать ещё 20». Клик по строке открывает результат этого прогона (см. ниже).
  • Лог переходов стабильности — из какого состояния в какое перешёл автотест, что стало причиной (правило, ручное действие, автоматическое исправление) и показатель нестабильности на момент перехода.
  • Теги — теги DoQA (чип «DoQA»; их можно снять прямо в карточке) и метки фреймворка из отчётов (чип «Фреймворк», только чтение).
  • Описание и шаги — то, что задано в коде автотеста аннотациями адаптера.
  • Связи — типизированные ссылки (связанные, дефекты, требования, блокирующие, репозиторий) и связанные тест-кейсы; клик по кейсу открывает его.

Просмотр результата прогона ​

Клик по строке истории раскрывает слева от карточки панель результата — тот же контент, что в карточке результата внутри прогона: карточка ошибки, кластер, дерево шагов, вложения, попытки и таймлайн запуска. Разбор этих блоков — на странице результатов. Кнопка «Открыть в прогоне» ведёт к этому результату в самом прогоне; повторный клик по строке истории закрывает панель.

Массовые действия ​

Отметьте автотесты чек-боксами — появится панель массовых действий:

  • «Привязать кейс» — введите числовой ID тест-кейса; привязка аддитивная, прежние связи автотестов не снимаются;
  • «Карантин» — исключить выбранные автотесты из статистики; «Снять карантин» — вернуть в статистику;
  • «Запустить» — открывает диалог «Запустить выбранные»; после успешного запуска DoQA переходит в созданный прогон. Подробности — Запуск автотестов из DoQA;
  • очистка выбора.

Права и обновление в реальном времени ​

Действия записи — карантин, привязки, запуск — доступны пользователям, которые могут создавать и редактировать прогоны; без этих прав чек-боксы выбора скрыты, а каталог доступен только на чтение.

Состояние стабильности строк каталог обновляет в реальном времени, без перезагрузки страницы. Открытая карточка автотеста автоматически не обновляется — закройте и откройте её заново, чтобы увидеть свежие данные.

Смотрите также