Использование инструментов анализа журналов во время тестирования программного обеспечения?

Question

Как вы думаете, анализ генерации журналов во время циклов тестирования может повысить качество?

Answer 1

Мое стандартное мнение состоит в том, что журналы чрезвычайно полезны каждый раз, когда они выявляют проблему, и бесполезны вообще, если они не говорят мне ничего ценного.Это будет полностью зависеть от того, что они содержат.Я не использую их для модульного тестирования, но во время интеграционного тестирования они могут быть весьма полезны.

Я считаю журналы особенно полезными, когда тестирование проводится кем-то в другом месте.Неоднократно мне не удавалось воспроизвести проблему, но после просмотра данных журнала стало ясно, что происходит.

Answer 2

Инструменты анализа журналов впервые использовались для мониторинга системы, но в Software Testing они помогают указывать состояние тестовых прогонов, показывают нам, насколько они эффективны, влияют на инфраструктуру и отображают местоположение ошибок быстрее, чем сценарии Selenium.

В последних версиях инструментов анализа журналов они не только указывают, что пошло не так, но и отправляют оповещение, когда система отклоняется от нормального шаблона, что является чрезвычайно полезной функцией для контроля качества, потому что команда может быстро определить сценарии, которые не запускались, но должны были выполняться, или тестовые прогоны, демонстрирующие странное поведение.

Answer 3

Абсолютно; не так много для модульных тестов, как упоминалось выше, но если вы настроите инструмент анализа журналов, такой как logwatch или Splunk , который может отправить вам сводку ошибок, обнаруженных во время теста, может определенно повысить качество.

Answer 4

Как вы думаете, интеграционное тестирование? или юнит-тестирование? Я думаю, что регистрация аномальных событий во время интеграционного тестирования, т. Е. Потенциальных ошибок, которые ваш код регистрирует и восстанавливает, а не дает сбой, может быть полезной. Запустите интеграционные тесты, а затем проверьте, есть ли неожиданные аномалии, даже если ваши тесты пройдены - или, если они не пройдены, используйте журналы, чтобы отследить сбои.

Я не могу понять, где они были бы очень полезны в модульном тестировании. Ваши юнит-тесты должны быть предписывающими. Возможно, вы захотите проверить правильность ведения журнала в вашем модульном тесте на наличие аномальных событий, но я не понимаю, как журналы должны иметь возможность сообщить вам что-либо, что вывод теста не

Answer 5

Я не думаю, что есть хороший общий ответ на этот вопрос: это зависит.

Анализ журналов может быть очень полезным, если: а) есть хорошая информация для добычи б) информация анализируется людьми или машинами, которые понимают суть бизнес-логики.

без этих двух ингредиентов, они могут быть провалом в ресурсах (время и $)