Как автоматизировать тестирование, когда качество результатов во многом субъективно - PullRequest
2 голосов
/ 28 апреля 2009

Я развил программу автоматизации и генерации статистики с помощью серии быстрых прототипов, чтобы посмотреть, дает ли стоимость лицензии API хороший возврат инвестиций. Ограниченные временные рамки и мой собственный ограниченный опыт привели к созданию полезного инструмента без автоматизированных тестов и показателей качества или правильности.

Программа имеет дело с процессом локализации для документов PDF. В частности, он генерирует отчет о части содержимого файлов (приблизительное количество слов, количество изображений и т. Д.) И имеет некоторые функции извлечения и обработки содержимого. Он в основном используется для сокращения времени и стоимости оценки стоимости проекта локализации PDF.

Приложение было одобрено для более формального процесса разработки, включая запрос на систему отслеживания ошибок и цикл предварительного тестирования, выпуска и обратной связи.

Тогда возникает вопрос, как бы вы пошли о QA и тестировании в такого рода приложениях, где цифры часто являются лучшим предположением на основе некоторой эвристики, а обработанный вывод не всегда полезен из-за ужасающей конструкции источника документы? Я планирую добавить предупреждения в отчет, когда цифры явно сумасшедшие, но что еще можно сделать, чтобы гарантировать качество?

На сегодняшний день самое сложное решение, которое у меня есть, - это гарантировать результаты некоторых вспомогательных методов путем тестирования утверждений в среде сборки и написания набора традиционных пользовательских тестовых примеров (которых я бы предпочел избежать).

Как вы проверяете субъективные показатели качества?

Я работаю в C #, но я предпочитаю ответы на общие рекомендации по всем вопросам, связанным с фреймворком.

Ответы [ 2 ]

2 голосов
/ 28 апреля 2009

Я точно не знаю, что делает ваше приложение, но чтобы ответить на общий вопрос: Создайте набор тестовых примеров, которые представляют ваш диапазон входных данных и посмотрите, сможет ли он правильно их оценить. Вы не можете обойтись тестированием реальных входных документов.

И затем, вам нужно признать, что есть предел тому, что может быть достигнуто с помощью автоматического тестирования. Например, когда вещи приобретают действительно субъективную эстетику или удобство использования), вам понадобится настоящий человек, чтобы получить полезное суждение.

Хотел бы я дать более полезный ответ.

0 голосов
/ 28 апреля 2009
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...