Как выработать стратегию автоматизации вашего тестирования?

Question

Я хотел бы получить информацию о том, как запускать автоматические тесты дыма, основываясь на том, что разработчики регистрируют. В настоящее время, когда есть фиксация разработчиками, создается задача jenkins для сборки кода и запуска тестов дыма для тестирования приложения. Но тесты дыма содержат более 50 тестов. Как бы вы разработали свою автоматизацию, чтобы при проверке разработчиками автоматизация работала только с теми функциями приложения, на которые может повлиять новая регистрация? Вот наш ход: Dev регистрируется в git-репо, задание jenkins запускается через веб-ловушку и собирает приложение, как только сборка завершена, есть последующее задание для запуска тестов дыма. Я хотел бы ограничить тесты на дым, чтобы проверить только те функции, на которые повлияла новая регистрация.

Answer 1

Вы можете определить, какие области вашего продукта могут быть затронуты, но вы не можете быть уверены на 100%. Не надейся на это. Вы не хотите иметь регрессии с неизвестным источником. Их очень сложно сортировать, и одна из лучших сторон непрерывной интеграции - это то, что каждое изменение или небольшое количество изменений тестируются отдельно, и вы в каждый момент знаете, что не так с вашим приложением, не тратя много времени на исследование. 10 минут для набора из 50 тестов на самом деле очень хорошо. Почему бы не подумать о , делающем их параллельными , вместо того, чтобы уменьшать тестовый костюм, если единственной проблемой при запуске тестов является затраченное время. Я бы предпочел ускорить этап выполнения теста, а не уменьшать его.