сравнение выполнения jmeter с предыдущей сборкой в ​​Jenkins

Question

Мне интересно опубликовать отчет sh jmeter в Jenkins и установить конвейер как «неуспешный», если есть ухудшение с точки зрения производительности между предыдущими выполнениями.

Ниже конфигурации, установленной в моем Jenkinsfile для Результаты jmeter:

                perfReport filterRegex: '',
                        relativeFailedThresholdNegative: 0,
                        relativeFailedThresholdPositive: 0,
                        relativeUnstableThresholdNegative: 0,
                        relativeUnstableThresholdPositive: 0,
                        sourceDataFiles: 'resultsJmeter/output/*.xml'
                    }

Есть ли способ автоматически оценить предыдущие исполнения (если есть)?

Answer 1

Согласно Отчет о тенденциях производительности статья:

Вы можете настроить процентные пороги ошибок и относительные процентные пороги, которые сделают проект нестабильным или неудачным, или установить их на -1 для отключения функции

Согласно Как использовать плагин производительности Jenkins

Установите следующие значения:

Unstable: 10
Failed: 60

Эта конфигурация пометит сборку как нестабильную, если ошибки равны 10%, и как неудачную, если 60% наших запросов не пройдены.

Соответствующим синтаксисом конвейера будет:

perfReport errorFailedThreshold: 60, errorUnstableThreshold: 10, filterRegex: '', sourceDataFiles: 'resultsJmeter/output/*.xml'

для относительной предыдущей сборки:

perfReport relativeFailedThresholdNegative: 10, relativeFailedThresholdPositive: 60, relativeUnstableThresholdNegative: 5, relativeUnstableThresholdPositive: 30, sourceDataFiles: 'resultsJmeter/output/*.xml', filterRegex: ''