Мне не нравится ни одно из упомянутых вами предложений, но я признаю, что использовал их время от времени.Лучшее, что можно сделать, - это убедиться, что в случае «случайного» отказа сделать все возможное, чтобы получить все данные о том, почему это действительно не удалось.Это была проблема окружающей среды?Какой-то другой процесс на машине мешал тестам?Была ли проблема синхронизации, которая появляется только тогда, когда сайт загружается мучительно медленно или быстро?
Одна вещь, которую вы можете попробовать, - это тестирование ваших автоматических тестов.Запустите каждый из них более 100 раз в одной и той же сборке и в одной и той же среде (так что вы можете исключить их в качестве потенциальных точек сбоя) и найти те, которые иногда терпят неудачу.Смотрите, если они терпят неудачу в том же месте или в разных местах.Обычно, выполняя это упражнение, вы обнаруживаете, что некоторые тесты немного ненадежны, и вы можете удалять их из ежедневного цикла, пока они не будут исправлены.Вы могли бы даже включить выдержку в качестве критерия регистрации для любого автоматизированного тестового случая.
Еще одна полезная вещь, которую я обнаружил, которая помогла мне разобраться в некоторых из, казалось бы, случайных отказов, делала снимки экрана при сбое.Часто вы видите, что всплывают другие окна или диалоговые окна, в результате чего браузеры не могут быть в первых рядах и т. Д.