HUnit / QuickCheck с непрерывной интеграцией

Question

Существуют ли какие-либо расширения для HUnit или QuickCheck, которые позволяют системе непрерывной интеграции, например, Bamboo , создавать подробные отчеты о результатах испытаний?

Пока что моя лучшая идея - просто запускать тесты как часть сценария сборки и полагаться на неудачные тесты с ненулевым кодом завершения.Это эффективно для привлечения внимания при сбое теста, но путает ошибки сборки с ошибками теста и требует просмотра выходных данных консоли для определения источника проблемы.

Если это лучший вариант с текущими инструментами, я думаю, чтонаписать модуль отчетности для HUnit, который будет выводить в формате JUnit XML , а затем указать инструмент CI на него, как если бы он создавал отчеты по проекту Java.Однако это выглядит несколько странно, поэтому я буду признателен за ваши мысли о существующих возможностях и направлениях новой разработки.

Answer 1

Пакет инфраструктуры тестирования предоставляет инструменты для интеграции тестов с использованием различных парадигм тестирования, включая HUnit и QuickCheck, а его консольному исполнителю тестов может быть передан флаг, который заставляет его создавать совместимый с JUnit XML.Мы используем его с Jenkins для непрерывной интеграции.

Пример вызова:

$ ./test --jxml=test-results.xml

Answer 2

Я только что выпустил пакет, который генерирует наборы тестов на основе модулей, содержащих свойства quickCheck: http://hackage.haskell.org/package/tasty-integrate

На данный момент это на один шаг выше тест-фреймворка / вкусного, так как он принудительно извлекает / объединяет их из файловой системы, а не полагается на ведение записей для каждого файла. Я надеюсь, что это поможет вашему процессу CI.