Обработка ожидаемых изменений в регрессионных тестах

Question

Я работаю над использованием непрерывного развертывания для моей службы, которая генерирует файлы XML в качестве вывода.Чтобы достичь этого, мы планируем добавить регрессионные тесты в наш процесс развертывания, где мы сравним XML-файл, созданный с этим изменением кода, с одним без этого изменения кода.

Но так как некоторые изменения кода могут привести к различиям между выходными данными, что приведет к провалу теста.

Один из подходов может состоять в том, чтобы позволить тестам завершиться с ошибкой и создать отчет Diff, который затем будет утвержден вручную.

Как такие случаи обычно обрабатываются при непрерывном развертывании?

Answer 1

Вы можете использовать что-то вроде этого xmldiff tool , который создает удобочитаемые различия между файлами XML.Если было сделано изменение кода, которое привело к сбою теста, отчет diff уже был бы сгенерирован для вас.

Я использовал аналогичные утилиты для сравнения снимков экрана, и хотя они все еще требуют ручного просмотра в конце, когда естьнеожиданные изменения, это немного ускоряет процесс.