Продемонстрировать улучшение QA

Question

Высшее руководство хочет, чтобы каждая группа показывала год от года улучшение (т.е. демонстрирует выгоды с данными, а не просто высказывает свое мнение). Как вы показали улучшение в QA? Какие метрики вы использовали?

Речь идет не о рейтинге одного тестера над другим. Речь идет о том, чтобы показать рост отдела и предоставить индивидуальному тестировщику возможность выделить личные улучшения.

Answer 1

Существует ряд ошибочных показателей качества, включая найденные ошибки. Это очень просто, но если программное обеспечение не сильно изменилось, количество найденных ошибок со временем станет равным нулю.

Измерение отдельных тестировщиков и количества ошибок, которые они поднимают, является способом стимулирования среди конкурирующих типов, но может также привести к множеству мелких проблем (которые могут быть хорошими или плохими).

Некоторые возможные полезные показатели включают в себя:

• измеренное количество новых ошибок, найденных в поле (то есть, которые вы пропустили) - это должно уменьшиться
• время для повторного тестирования и закрытия исправленных проблем
• количество ошибок, отправленных для уточнения (должно уменьшиться)
• количество отчетов об ошибках, закрытых для неверного утверждения теста - показывает понимание, должно уменьшиться

Если также указаны ваши цели - например, перейти на автоматизированную систему тестирования - это может быть способом измерения. Поэтому, если у вас есть 10 000 тестовых случаев, вашей метрикой может быть число автоматизированных тестовых случаев, сколько из них прошло / не пройдено.

Есть действительно хорошая статья, обсуждающая это по адресу: http://www.claudefenner.com/content/detail/QAMetricsPage.htm

Answer 2

Важно четко понимать, чем занимается ваш отдел контроля качества. Это будет несколько отличаться от компании к компании, но в конечном итоге QA - это операция по сбору данных. Количество ошибок, зарегистрированных на человека / проект, легко измерить, но оно мало связано с тем, сколько работы выполняет команда QA или насколько они эффективны

Лучше посмотреть процент серьезных ошибок, обнаруженных клиентами после выпуска, по сравнению с найденными QA. По мере улучшения тестирования это число должно уменьшаться. Кроме того, измерьте количество тестов, выполненных для каждого выпуска. По мере развития процесса обеспечения качества вы должны увидеть, как тестеры становятся более продуктивными (благодаря знакомству или автоматизации) ..

Answer 3

Насколько изощренны найденные ошибки, например, это просто, просто загрузить веб-страницу и она дает сбой, или есть несколько шагов, необходимых для воспроизведения ошибки, это может быть одна метрика, которая может быть интересна, чтобы увидеть, как она идет, хотя это в некоторой степени зависит от того, насколько хорошо Разве разработчики создают программное обеспечение в первую очередь?

Как часто ошибки отправляются для разъяснения, также может быть полезно, если разработчики тратят много часов в паре с QA только для того, чтобы понять ошибку, это не самый полезный способ тратить время.

Наконец, может быть, стоит создать здесь руководство по QA 101, чтобы некоторые практики и знания могли быть записаны и пересмотрены с течением времени, чтобы продемонстрировать рост с точки зрения понимания различных методов тестирования и использования полезных в данной ситуации. Это мои предложения.

Answer 4

Я думаю, лучший способ измерить производительность команды QA по соотношению сообщаемых ошибок: исправляемых ошибок. Если большинство ваших ошибок исправлено с помощью dev, то это показывает, что вы находите качественные ошибки, которые требуют внимания. Количество недопустимых ошибок должно быть отрицательной мерой, так как такие ошибки тратят время разработчика.