интерпретация тестов макета webkit

Question

У меня есть задача разбить результаты теста макета webkit по пройденным / неудачным / пропущенным / сбойным тестам Я пытаюсь понять, какие «категории» ожидать на выходе. Я понял, что НОВЫЕ тесты и тесты FAILED показаны в файле results.txt, но как насчет остальных?

Это текущие категории, которые я обнаружил до сих пор

stderr
incorrect layout
succeeded
timed out

что еще мне следует рассмотреть?

Answer 1

Вы можете увидеть типы ошибок в test_failures.py . Они

• Тест разбился
• Тайм-аут теста
• Ожидаемый вывод (изображение, аудио или текст) отсутствует
• Ожидаемый вывод текста не соответствует фактическому выводу
• Ожидаемый вывод хеша (контрольной суммы) изображения не соответствует фактическому выводу
• Ожидаемый вывод данных изображения (фактических пикселей) не соответствует фактическому выводу
• Ожидаемое изображение и текстовый вывод не соответствует фактическому выводу
• Ожидаемый аудиовыход не соответствует фактическому выводу