Изменение времени ответа относительно продолжительности теста

Question

Я просто хочу понять следующие сценарии:

Сценарий 01: Когда я запускаю тест с 50 пользователями в течение 10 минут, время отклика транзакции 90-го процентиля составляло 10 секунд.Но когда я запускаю один и тот же тест в течение 20 минут, это время отклика составляет 7 секунд. Я наблюдал это изменение времени отклика несколько раз.Почему время отклика (90-е) продолжает меняться с изменением продолжительности прогона

Сценарий 02: когда пользовательская нагрузка была 50, Время отклика одной конкретной транзакции, скажем, Вход в систему было 10 секунд. Но когда яЗапустив тест с 100 пользователями, время отклика на вход в систему транзакции составило 6 секунд.Пожалуйста, объясните это

Answer 1

Может быть несколько объяснений, к сожалению, ваших цифр недостаточно, чтобы точно сказать, в чем причина.Возможные причины могут быть в:

1. Время разгона .Если пользователи приходят постепенно, приложение может адаптироваться к увеличению нагрузки из-за JIT-компиляции или разогрева кешей , например, первые X транзакций занимают больше времени, так как приложение не готово для них, но как выпродолжайте, приложение выполняет внутреннюю оптимизацию, поэтому последующие транзакции занимают меньше времени
2. Несоответствие результатов может быть вызвано самим JMeter, как будто JMeter не способен отправлять запросы достаточно быстро - это приведет к снижению пропускной способности и увеличению времени откликапоэтому обязательно следуйте JMeter Best Practices

Привыкните для мониторинга базовых показателей работоспособности ОС, а также использования ЦП, ОЗУ, диска, сети, подкачки и т. д. в обоих приложениях.при тестировании и со стороны JMeter, поскольку это может быть случайным недостатком ресурсов, влияющим на производительность, или другим действием, которое потребляет ресурсы, поэтому результаты не являются согласованными.Для этого вы можете использовать JMeter PerfMon Plugin .

Answer 2

У вас есть одна статистика в отдельности, время отклика.Но вы не учитываете использование ресурсов, которые влияют на время отклика.Вы также смотрите на очень короткие окна и, следовательно, на меньшие выборочные наборы, они даже статистически достоверны?Есть ли у вас другие проблемы, такие как отсутствие контрольного фактора в дизайне вашего теста, отсутствие проверки на ожидаемые результаты или нулевое время обдумывания или модель стимуляции - даже неконтролируемые начальные и тестовые условия могут повлиять на это иприводит к результатам, которые невозможно воспроизвести.

Рассмотрите прикрепленный виджет и что это означает для сбора и анализа данных