Должны ли мы всегда воспроизводить ошибки, чтобы проверить исправления?

Question

Время от времени мы получаем ошибки в работе, которые можно исправить, например, путем изменения конфигурации, отключения некоторой части логики и т. Д.

Я поспорил с моим менеджером, что мы должны воспроизводить ошибки локально, чтобы убедиться, что исправление работает, и что еще более важно, чтобы разработчики и QA могли включить проверку этих случаев как часть обычного выпуска.

Мой менеджер считает, что это пустая трата времени, так как решение работает, поэтому нет необходимости воспроизводить локально.

Итак: Должны ли мы попытаться воспроизвести локально, чтобы проверить исправления? Любые указания о том, как продать этот пункт моему менеджеру, если вы согласны со мной?

Answer 1

Возможно повторение того, что уже написано, но ДА !!! Обоснование: найти ошибку только один раз. Если вы можете написать тест, который повторяет ошибку, вам не придется тестировать ее вручную - ваш автоматический тест найдет ее.
Тогда вы исправите ошибку, и вы можете быть в безопасности, зная, что ваше программное обеспечение никогда не будет страдать от этой ошибки снова. Это хорошо. Это сэкономит вам время. Это сэкономит вам деньги.

Answer 2

Попытайтесь уволить вашего менеджера из-за его глупости и получить его работу, это может быть возможность!

Answer 3

При случайных сбоях с поля иногда просто невозможно воспроизвести их. Я отлаживал редкие состояния гонки и «невозможные» сбои с помощью посмертных аварийных отказов, собранных службой отчетов об ошибках Microsoft Windows. Я думаю, что гуру Microsoft Раймонд Чен называет это «экстрасенсорной отладкой».

Если ваша компания поставляет программное обеспечение Windows (C ++ или .NET) для широкой публики, я настоятельно рекомендую использовать службу отчетов об ошибках Windows (WER) от Microsoft. Это бесплатно, даже для коммерческих компаний-разработчиков программного обеспечения. Это проще, чем написать свой собственный отчет об ошибках и службу сбора аварийных отказов. WER даже объединяет все трассировки стека, чтобы вы знали, какие сбои являются дубликатами, что полезно, когда вам не хочется отлаживать тысячи дублированных сбоев. :)