Я работаю в небольшой команде, которая только что переехала в Azure Dev-Ops. Когда выходит новая сборка, мы не можем найти простой и удобный способ как запустить регрессионные тесты, так и получить полные исторические данные о планах тестирования, которые были выполнены. Я обеспокоен тем, что после использования Azure DevOps в течение некоторого времени может быть трудно найти более ранние тестовые прогоны.
До сих пор мы пытались создать большой набор тестов с папками наборов дополнительных тестов для различных областей функциональности. Каждый набор субтестов затем индивидуально запускается в Test-Runner. Проблема в том, что когда мы сбрасываем тесты и запускаем их снова, мы теряем исторические тестовые данные, и все тесты, которые не были завершены во время тестового прогона, пропадают, из-за чего создается впечатление, что более высокий процент тестовых случаев прошел / не прошел , Другая проблема заключается в том, что планы тестирования фрагментированы.
Еще одна опция, которую мы исследовали, - это добавление метки (вместо набора субтестов) в каждый тестовый пример. Это вызывает проблему при попытке запустить все тесты, так как кажется, что Test-Runner имеет ограничение не более 100 тестовых случаев одновременно. Кроме того, при запуске в режиме разделения имена тестовых прогонов неотличимы друг от друга, поскольку все они имеют одно и то же имя (из набора тестов).
Идеальным решением было бы что-то вроде TestRail (из которого мы только что переместились), когда кейсы из набора тестов могут быть выбраны для прогона, а затем план тестирования сохраняется бесконечно. К сожалению, мы не можем вернуться к TestRail.