Важность базового тестирования по SLA

Question

Почему мы сравниваем результаты теста производительности с базовой линией, если у нас уже есть SLA?

Как они будут связаны Например:

• Время отклика транзакции в основном тесте составляет 3 секунды
• SLA для той же транзакции составляет 5 секунд
• Базовое значение для этой транзакции составило 2 секунды

Как их сравнить?

Answer 1

На этот вопрос сложно ответить - являетесь ли вы получателем SLA (так как в вашей системе используется внешняя система с SLA) или вам нужно гарантировать SLA?

Обычно люди используют «базовый уровень» для обозначения приложения в том виде, в каком оно есть сейчас, в обычных условиях и при типичной нагрузке.

Как правило, SLA времени отклика включает в себя верхние пределы нагрузки или какую-то коммерческую лестницу - гарантирование времени отклика для неограниченного трафика часто невозможно без дополнительных финансовых ресурсов.

Если ваш первый тест производительности показывает, что фактическое время отклика выше, чем базовое значение, это говорит о том, что вы либо не согласны с «типичными» условиями, либо превысили эти типичные условия, либо что производительность приложения ухудшилась после базовый уровень был установлен. Это важная информация.

В общих чертах, время отклика и загрузка не имеют линейной зависимости - если время отклика составляет 1 секунду для 100 пользователей, обычно это не 10 секунд для 1000 пользователей. Вместо этого время отклика имеет тенденцию очень медленно расти с нагрузкой, пока вы не столкнетесь с узким местом, и в этот момент оно очень резко возрастает.

Обычно я использую тестирование производительности, чтобы исследовать эти узкие места, чтобы я мог решить, насколько они соответствуют моим желаемым характеристикам производительности, и решить, как переместить это узкое место еще дальше.

Стоит также отметить, что большинство систем имеют несколько узких мест, а самый медленный элемент определяет общие характеристики производительности. Поэтому, даже если у вас есть SLA для 5-секундных транзакций в одной части вашей архитектуры, могут быть другие части, которые работают медленнее (или быстрее достигают своего узкого места).

Итак, почему вы сравниваете нагрузочные тесты с базовыми линиями, даже если у вас есть SLA?

• Убедитесь, что базовая линия все еще действительна.
• Убедитесь, что вы понимаете общие характеристики производительности и можете превышать SLA в других частях системы.
• Убедитесь, что вы можете достичь SLA

Answer 2

Если время истекло SLA - у вас есть критическая производственная проблема , которую необходимо устранить.

Если время превышает базовый уровень - ваш сервер страдает от снижения производительности, и его необходимо проанализировать, но в меньшей степени

Подробнее в testperformance :

Любое действие пользователя, когда время отклика кажется выше ожидаемого, может быть отслежено, отслежено и проверено, чтобы определить, являются ли они неэффективными.

• По мере увеличения рабочей нагрузки тестер производительности может посмотреть, как время отклика транзакций отклоняется от базовой линии при увеличении рабочей нагрузки.