Как пройти неудачный тестовый набор (разбор junit.xml)?

Question

Мы работаем в автоматизированном конвейере непрерывной интеграции / развертывания.у нас есть сотни тестов и 4 этапа (красный, оранжевый, желтый, зеленый).

Проблема, с которой я сталкиваюсь, заключается в том, что тест может провалиться (ошибка, время, зависание процесса и т. д.), и он провалитсявесь регрессионный прогон.

Я думаю, что нам нужен какой-то вес, чтобы определить количество проходных / неудачных тестов, которые следует рассматривать как сборку 'fail'.

Есть идеи?что-то, что вы создали в своем конвейере?

Спасибо, -M

Answer 1

Наличие неудачной сборки не всегда отражает качество продукта, в основном, если сбои связаны с проблемами инфраструктуры тестирования.

Снижение риска нежелательных сбоев, которые не связаны с ошибками приложений (тайминги,застрявший процесс), создавая прочную и стабильную среду, которую можно легко поддерживать и расширять.

Говоря о сбоях, связанных с ошибками приложений, тип неудачных тестов важнее количества неудач.Это серьезность дефекта.У вас может быть 3 тривиальных сбоя, которые не имеют большого влияния, и вы также можете иметь только 1 критический сбой.Вам необходимо соответствующим образом пометить свои тесты.

В дополнение к этому есть плагин Jenkins , который создает легкую для отслеживания историю тестовых прогонов, где вы можете увидеть количество тестов, которые потерпели неудачу.большинство раз за последние запуски.