Какова ожидаемая вероятность ложного отрицания в автоматизации тестирования?

Question

Это довольно широкий вопрос, я ищу любой документ, который содержит оценку или иным образом пытается сформулировать ответ. Опубликованные исследования будут потрясающими. Когда я говорю ложно-отрицательный, я имею в виду результат теста, который регистрируется как сбой, но на самом деле не был вызван дефектом кода в тестируемом приложении.

Для контекста: мы некоторое время полагались на автоматизацию тестирования на уровне интеграции, и у нас всегда было определенное количество ложных отрицательных результатов в наших результатах. Похоже, руководство считает, что количество ложных негативов может и должно быть равно нулю. Я пытаюсь определить, является ли это ожиданием реалистичности.

Любые отраслевые исследования или любая другая информация по этому вопросу будет принята с благодарностью!

Answer 1

Совершенно невозможно сказать, что в целом для всех программ процент ложных негативов часто составляет X%.Это зависит от выполняемого теста.Тесты могут применяться к сетевым транзакциям, внутренней логике приложения, структуре базы данных, проверке оборудования и т. Д. И т. Д. И т. Д., И все они имеют совершенно разные характеристики тестирования.

Если вы укажете дополнительную информациюконкретный тест, который иногда сообщает о неверных результатах, тогда мы могли бы немного помочь.В противном случае вы по своему усмотрению.

Answer 2

Да, это очень сложный вопрос.По своему опыту я бы сказал, что это действительно очень высоко.Это зависит от многих вещей.Но в целом, я думаю, что очень сложно писать очень стабильные автоматические тесты.Особенно те, которые сосредоточены вокруг пользовательского интерфейса.

Вы можете написать более стабильные для более низких уровней, таких как API и UnitTests.