Выполнение автоматизированного теста - когда остановиться

Question

У нас есть около 100 тестов для нашей системы.Мы пытаемся создать автоматизированный набор тестов для него.

Скажем, во время выполнения тестов 25-й тест не удался.Если наша автоматизированная тестовая система выйдет из строя и остановит выполнение, или она просто пометит это как неудачное и продолжит попытки выполнить тестовые примеры 26-го числа (то есть каждый цикл тестирования будет выполнять все 100 тестовых случаев независимо от любых неудачных тестовых случаев).

Конечно после неудачного тестового примера (например, № 25), если система должна быть перезагружена для выполнения тестовых примеров 26 и далее, об этом позаботятся.

Спасибо

Джеймс

Answer 1

Если ваши тесты независимы - вы должны закончить их все. Таким образом, вы можете отслеживать стабильность системы и видеть все проблемы сразу, без повторного запуска тестов.

Answer 2

Если это работает без участия человека, скажем, как часть какой-то автоматической сборки, я бы хотел попробовать все тесты.

Однако есть сценарии, в которых вы находитесь в режиме исправления проблем, когда это может сэкономить человеку время, чтобы просто остановиться.Если это легко, я бы хотел предложить вариант «Остановить при первой неудаче».