Параметризация тестов
Параметр — это именованный набор значений, который подставляется в текст тест-кейса или чек-листа: например, «Браузер» со значениями Chrome, Firefox и Safari. При добавлении параметризованного теста в прогон DoQA создаёт отдельный слепок на каждую комбинацию значений — сколько именно будет слепков, задаёт стратегия комбинаций.
Создание параметра
В редакторе тест-кейса или чек-листа параметр можно создать тремя способами.
Из выделенного текста. Выделите текст, который станет именем параметра (цифра 1), и нажмите кнопку параметра в бабл-меню (цифра 2) или на панели редактора (цифра 3).
Вводом []. Наберите [] в тексте — откроется список параметров этого теста и глобальных параметров пространства. Продолжайте печатать, чтобы найти нужный по имени, или выберите «Создать параметр».
Горячей клавишей. Ctrl + Shift + K (Windows) или Command + Shift + K (macOS) вставляет [] и открывает тот же список.
Задайте имя параметра, добавьте значения и нажмите «Сохранить»:
Значения добавляются по Enter, запятой или точке с запятой. Сохранить окно можно сочетанием Ctrl + Enter (Windows) или Command + Enter (macOS), закрыть без сохранения — клавишей Esc.
Ограничения: имя параметра — до 128 символов, значение — до 128 символов, до 100 значений на параметр. Хотя бы одно значение обязательно. Значения внутри параметра не должны повторяться, а имя параметра должно быть уникальным в пределах теста — в том числе между локальным и глобальным параметром.
При наведении курсора на параметр в тексте отображаются его значения:
Чтобы добавить в текст ещё одно вхождение уже созданного параметра, наберите [] на нужной позиции и выберите параметр из списка.
Локальные и глобальные параметры
Тип параметра выбирается в первом поле окна создания:
- «Локальный» («Только для этого тест-кейса») — параметр существует только внутри этого тест-кейса или чек-листа.
- «Глобальный» («Доступен в пространстве») — параметр хранится на уровне пространства и предлагается в списке по
[]в других тест-кейсах и чек-листах этого пространства.
Глобальные параметры помечены отдельной иконкой: в списке по [], в панели «Параметры» и в таблице «Комбинации значений».
Тип можно изменить при редактировании параметра. Если имя при этом не меняется, параметр не дублируется, а перепривязывается к выбранному типу.
Совет
Сколько слепков получится в прогоне, зависит не от параметра, а от стратегии комбинаций, выбранной для теста целиком.
Стратегии комбинаций
Стратегия задаётся для всего тест-кейса или чек-листа и определяет, какие сочетания значений попадут в прогон.
Откройте панель «Параметры» — закладка справа в редакторе тест-кейса или чек-листа. В панели три элемента:
- «Стратегия комбинаций» — выбор одной из четырёх стратегий. Поле неактивно, пока в тесте нет ни одного параметра со значениями.
- «Показать комбинации» — предпросмотр будущих слепков.
- «Используемые параметры» — список параметров теста со значениями. Клик по карточке открывает окно редактирования параметра.
Стратегия сохраняется вместе с тест-кейсом или чек-листом. По умолчанию — «Все комбинации».
Дальше в примерах используются два параметра: «Браузер» со значениями Chrome, Firefox, Safari и «ОС» со значениями Windows, Linux.
Все комбинации
Декартово произведение: каждое значение каждого параметра сочетается с каждым значением остальных. Стратегия по умолчанию. Шесть слепков:
| № | Браузер | ОС |
|---|---|---|
| 1 | Chrome | Windows |
| 2 | Chrome | Linux |
| 3 | Firefox | Windows |
| 4 | Firefox | Linux |
| 5 | Safari | Windows |
| 6 | Safari | Linux |
Число слепков растёт как произведение: три параметра по три значения дают уже 27 слепков.
Каждый выбор
Каждое значение каждого параметра попадает хотя бы в одну комбинацию. Число комбинаций равно длине самого длинного списка значений; более короткие списки зацикливаются с начала. Три слепка:
| № | Браузер | ОС |
|---|---|---|
| 1 | Chrome | Windows |
| 2 | Firefox | Linux |
| 3 | Safari | Windows |
Windows повторяется в третьей строке, потому что список «ОС» короче и начался заново.
Линейное сопоставление
Значения сопоставляются строго по порядку: первое с первым, второе со вторым. Списки не зацикливаются — если у параметра значения кончились, в комбинации будет прочерк. Три слепка:
| № | Браузер | ОС |
|---|---|---|
| 1 | Chrome | Windows |
| 2 | Firefox | Linux |
| 3 | Safari | — |
Стратегия подходит, когда значения разных параметров связаны попарно и порядок в списках осмыслен (например, логин и соответствующий ему пароль).
Попарное тестирование (pairwise)
Каждая пара значений любых двух параметров встречается хотя бы в одной комбинации. Полного перебора при этом не происходит.
На двух параметрах pairwise совпадает со «Всеми комбинациями» — все шесть строк и есть все пары. Выигрыш появляется начиная с трёх параметров. Если к «Браузеру» и «ОС» добавить параметр «Язык» со значениями RU и EN, «Все комбинации» дадут 12 слепков, а pairwise — 6:
| № | Браузер | ОС | Язык |
|---|---|---|---|
| 1 | Chrome | Windows | RU |
| 2 | Chrome | Linux | EN |
| 3 | Firefox | Windows | EN |
| 4 | Firefox | Linux | RU |
| 5 | Safari | Windows | RU |
| 6 | Safari | Linux | EN |
Показать комбинации
Кнопка «Показать комбинации» открывает окно «Комбинации значений»: строка таблицы — один будущий слепок, колонки — параметры теста. Прочерк означает, что для этой комбинации у параметра нет значения. У глобальных параметров рядом с именем колонки выводится иконка.
Таблица считается тем же алгоритмом, что и разворачивание теста в прогоне, поэтому по ней можно оценить число слепков до того, как тест будет добавлен в прогон.
Изменение параметра и его значений
Кликните по параметру в тексте левой кнопкой мыши или по его карточке в панели «Параметры» — откроется окно редактирования. Изменения затрагивают все вхождения параметра в тесте.
Кнопка «Удалить» в окне редактирования удаляет параметр вместе со всеми его вхождениями в тексте. DoQA запросит подтверждение.
Если удалить из текста последнее вхождение параметра, DoQA также запросит подтверждение: вместе с вхождением удаляется сам параметр.
Прохождение параметризованного теста в прогоне
При добавлении параметризованного теста в прогон DoQA создаёт отдельный слепок на каждую комбинацию значений, рассчитанную по стратегии, которая сохранена в самом тест-кейсе или чек-листе. В описании, предусловиях и ожидаемом результате каждого слепка параметры заменены на значения своей комбинации.
Слепки помечены бейджем вида [N] — это номер комбинации. При наведении курсора отображается состав комбинации: «имя параметра: значение» для всех параметров теста.
Тот же бейдж выводится в истории запуска тест-кейса и в кратком отчёте прогона.