Тесты Testcafe, запускаемые серверами автоматизации, не проходят случайно

Question

Это противоречивое поведение, я получаю случайные результаты как с Дженкинсом, так и с GitLab-раннером.При запуске неудачных тестов на одной и той же сборочной машине все идет хорошо.(например, тесты, которые не были выполнены при запуске сервером автоматизации, проходят при запуске вручную - с использованием test.only )

Испытывается в основном без головы с Firefox и Chrome, но такая же случайность происходит с полным пользовательским интерфейсома также.

Во-первых, я думал, что существует проблема с ресурсами на сборочной машине из-за одновременных задач, но я исключил это, запланировав ночную сборку.Более того, я даже снизил скорость до 0,8.

Кто-нибудь еще сталкивался с таким поведением?Любая подсказка будет принята с благодарностью.

Answer 1

Попробуйте включить режим карантина и попробуйте пропустить ошибки JavaScript .

Без конкретного сообщения об ошибке сложно точно определить причину

Answer 2

Слоистые тесты являются серьезной проблемой и требуют стратегии смягчения. Недетерминизм может мешать вашим конвейерам CICD и блокировать / задерживать разработку, пока эти проблемы не будут обнаружены и решены. По моему мнению, даже после огромных усилий по сокращению таких проблемных испытаний, нестабильные тесты неизбежны, когда условия испытаний достигают определенного уровня сложности. Основная цель, таким образом, заключается в том, чтобы соответствующим образом управлять ими.

Пара мер, которые могут помочь:

• перезапуск только неудачных тестов
• рассмотрим передовые концепции, такие как сочетание xpath и Look & feel
• рефакторинг для Герметичный шаблон , избегать глобального / общего состояния или данных и полагаться на случайный порядок выполнения теста
• правильное Тестовое приспособление стратегия

Здесь больше по теме.