Всегда есть место для ошибок суждения при попытке
измерить статистику автоматизации / охват по тестируемой системе
, поскольку нет инструментов для (на самом деле) автоматизировать мышление и навыки хорошего инженера QA. Тестовое покрытие как показатель полезно только до определенного момента. Это может помочь вам выявить пробелы и в том, где вам нужно потратить больше усилий. Как вы узнаете, что 69% - это плохое тестовое покрытие, а 70% - хорошее!?
По моему опыту, чтобы дать вам более конкретный ответ, мы использовали простую формулу:
для каждого критерия приемлемости вам нужно по крайней мере:
- один положительный сценарий
- один отрицательный сценарий (или два, если вы хотите охватить), что делает система, то, что она не должна't "и" система не делает, то, что она должна "случается)
- деструктивный сценарий (например, некорректный ввод)
Конечно, в большинстве случаев выпотребуется больше, чем это, но они должны быть минимумом по умолчанию. Теперь, имея некоторые цифры и сопоставления, вы можете создать тепловую карту, которая будет отображаться в ваших отчетах. Может быть, что-то вроде делового дружеского отношения:
