Руководство по включению тестов в выпущенное программное обеспечение?

Question

Во многих проектах с открытым исходным кодом используемый набор тестов часто является всеобъемлющим.Это сделано для того, чтобы многие люди могли легко вносить изменения, не нарушая при этом пути.

Одна из программ, которую я использовал, - это среда тестирования FitnNesse .Одна интересная вещь о FitNesse состоит в том, что набор тестов является частью "установленной" системы.

В выпущенном программном обеспечении есть какие-либо рекомендации относительно того, какой уровень тестов включать?

Очевидно, включаявсе юнит-тесты в выпущенном продукте, вероятно, не то, что нужно делать.

Другое название для этих встроенных тестов может быть "диагностика".

Answer 1

... Другое название для этих встроенных тестов может быть "диагностика" ...

... хорошо, тогда возникает вопрос, какие проблемы эти диагностики ?Как бы вы описали цель таких тестов?

Например, в одном из моих проектов у нас был модуль, официально включенный в релизы продукта и полностью документированный в руководстве по продукту.Он назывался iirc готовность или набор диагностических тестов .Его целью было проверить, соответствует ли целевая платформа базовым требованиям, позволяющим использовать наш продукт.Неудача теста в этом наборе обычно указывает на некоторую ошибку showtopper в целевой платформе.

Сейчас я не помню, запрашивали ли наши модули или клиенты добавление вышеупомянутого модуля, но я ясно помню причину этого запроса - ребятапри использовании (или тестировании) нашего продукта сыт по горло загадочными сбоями при установке / использовании, которые вызывают после того, как громоздкие исследования были идентифицированы как простые (но серьезные) ошибки на целевой платформе.