Как записать историю тестов с TestNg?

Question

У меня есть набор API-тестов на основе Java, которые я запускаю из Intellij IDEA.Некоторые тесты обычно не выполняются по одной и той же причине при каждом запуске теста.Некоторые тесты проваливаются реже.Я хочу выполнить все тесты не менее ста раз, чтобы выяснить, какие тесты были неудачными и каковы уникальные причины неудачи каждого неудачного теста.

Вот пример отчета, для которого я хочу сделатьсебя.Для каждого провального теста существует одна строка.Текст перед каждым двоеточием фактически является именем столбца.

failingTest: myTest, faultReason: ожидалось 200, но получено 304, timesOccrogen: 25/100, stackTrace: text.

failingTest:myTest, faultReason: 404 не найдено, timesOccrogen: 5/100, stackTrace: text.

Итак, из вышесказанного мы видим, что «myTest» не удался в общей сложности 30/100 раз.Какой самый простой способ создать такой отчет?

Спасибо.

Answer 1

Самый простой способ сделать это - создать собственный репортер, реализовав org.testng.IReporter, который поддерживается базой данных, в которую вы добавляете результаты теста.

Если результат теста дляконкретный метод уже существует, затем обновите его счетчик выполнения, а также счетчик пройденных / неудачных попыток на основе результатов теста для каждой уникальной причины ошибки.