Информация о производительности для каждого коммита в GitHub или GitLab CI

Question

Я использую GitLab для размещения проекта, в котором основное внимание уделяется производительности.В настоящее время у меня есть тесты, которые утверждают, что определенные задачи завершаются в указанное время.

Я хотел бы расширить конфигурацию CI, чтобы измерить, как конкретный запрос на фиксацию или получение влияет на производительность, и чтобы информация была доступна в удобном формате (диаграммы, изменения производительности при фиксации и т. Д.).

По сути, мне нужен эквивалент coveralls.io, за исключением производительности вместо покрытия.

Мне интересны все решения, которые работают на GitHub или GitLab.

Обратите внимание, что этот вопрос не о том, как проводить тестирование производительности в CI, а о том, как удобно представить полученные данные.

Answer 1

GitHub или GitLab являются только хостинговыми службами с контролем исходного кода, я ожидаю, что вам потребуется программное обеспечение, которое будет координировать сборку, а именно:

1. Получить исходный код через commit hook
2. Сборка исходного кода
3. Запуск тестов
4. Публикация артефактов

Обычно это делается с помощью CI-сервер , и если у вас его нет - вам нужно выбрать его , а если у вас нет лучшего кандидата - я бы порекомендовал пойти на Дженкинс которая является некоторой формой отраслевого стандарта.

Jenkins, в свою очередь, имеет Performance Plugin , который может создавать диаграммы трендов производительности для следующих форматов:

• JMeter XML и CSV формат, а также вывод журнала суммирования
• Итоговая статистика инструмента Taurus XML (через него можно публиковать сводки из JMeter, Gatling, Grinder, Siege, ab, Selenium и многих других)
• Iago * в Твиттере
• wrk

Таким образом, если ваши тесты дают результаты в одном из вышеперечисленных форматов, вы сможете иметь такие диаграммы, как:

Кроме того, вы будетевозможность условно пометить сборку как неудачную в зависимости от различных критериев (% ошибок, время ответа превышает пороговые значения, текущий результат сборки хуже предыдущего и т. д.)