Сбой теста FoneMonkey во время запуска Jenkins

Question

Я использую FoneMonkey + Jenkins для автоматического тестирования iOS. Я прошу FoneMonkey сгенерировать отчеты XML (FM_ENABLE_XML_REPORT - установлено в TRUE) и запустить его с waxsim . Сегодня я узнаю, что при сбое приложения (т.е. из-за NSInvalidArgumentException) отчет xml не генерируется. И затем в Jenkis я вижу 100% прохождение (я использую стандартный плагин JUNIT), с его явно не верным.

Единственный способ определить это: а) проанализировать журнал консоли Дженкинса (т.е. найти *** Terminating app due to uncaught exception) б) заметить, что в отчете Дженкинса количество тестов на запуск меньше, чем обычно (именно так мои товарищи по команде обнаружили проблему).

Я знаю, что могу использовать плагин Jenkins Text Finder для решения а), но я хотел бы получить точные отчеты.

Есть ли способ достичь этого? Если нет, то полезен ли FoneMonkey?

Answer 1

Если выполнение инструмента завершается неудачно (на что указывает ненулевой код завершения), Jenkins обнаруживает это и помечает сборку как неудачную. Если инструменты сломаны, Дженкинс мало что может сделать, чтобы помочь.

В вашей ситуации я вижу несколько возможностей:

• FoneMonkey должен быть исправлен, чтобы возвращать ненулевой код завершения, когда тестируемое приложение вылетает
• FoneMonkey должен быть исправлен, чтобы всегда выводить XML, даже когда тестируемое приложение аварийно завершает работу
• Вы можете написать собственный FoneMonkey-output-to-JUnit-parser вместо того, чтобы полагаться на FoneMonkey (например, существуют аналогичные проекты для анализа выходных данных тестера Android)