Почему Среднее время отклика уменьшается, когда мы увеличиваем количество пользователей?

Question

Я использую J-Meter для запуска теста производительности с разным количеством пользователей.Для 1 пользователя среднее время отклика составляет 1,4 секунды, но при большем количестве пользователей логично, что среднее время отклика будет увеличиваться, но вместо этого оно уменьшается.Кто-нибудь может объяснить, почему?Тестовый сценарий состоит в том, что я несколько раз взаимодействую (2-3 взаимодействия) с чат-ботом.

Пожалуйста, помогите мне понять этот запутанный результат ниже:

1 user   - 30 seconds  - 1.3 seconds  (average response time)
5 users  - 60 seconds  - 0.92 seconds (average response time) 
10 users - 60 seconds  - 0.93 seconds (average response time) 
20 users - 120 seconds - 0.92 seconds (average response time) 

Answer 1

Первая итерация первого пользователя часто включает некоторые издержки на стороне клиента (чаще всего разрешение DNS) и может иметь некоторые накладные расходы на стороне сервера («разогрев» сервера).Эти издержки не требуются в следующих итерациях или для пользователей.

Таким образом, то, что вы видите как сокращение среднего времени, - это на самом деле уменьшение влияния более медленного времени выполнения «первой итерации первого пользователя» на общий результат.Вот почему важно предоставить достаточную выборку, чтобы такой локальный всплеск больше не имел значения.Мое эмпирическое правило, по крайней мере, 10000 итераций, прежде чем смотреть на какие-либо средние значения, хотя уровень комфорта должен устанавливать каждый тестировщик.

Кроме того, при увеличении числа пользователей не следует ожидать, что среднее значение будет хуже, если толькоВы достигли точки насыщения : скорее она должна быть стабильной.Поэтому, если вы ожидаете, что ваше приложение сможет поддерживать не более 20 пользователей, ваш результат удивителен, но если вы ожидаете, что приложение будет поддерживать 20000 пользователей, у вас не должно быть среднего ухудшения в 20 пользователей.

Чтобы проверить, происходит ли это так, попробуйте запустить 1 пользователя, но гораздо дольше, чтобы общее число итераций было таким же, как, например, для запуска 20 пользователей.В общем, вам нужно увеличить продолжительность теста с 1 пользователем до 20 минут, чтобы получить такое же количество итераций (то есть такая же продолжительность теста будет равна 120 секундам, но также и x20 итераций с 20 пользователями, что даст вам общее количество в 20 минут для 1пользователь)