Измерение доли функции во времени выполнения веб-службы

Question

У меня есть фрагмент кода, который включает особую функцию c, которую я могу включать и выключать. Я хочу знать время выполнения функции.

Мне нужно измерить это внешне, то есть просто измерить время выполнения с помощью инструмента нагрузочного тестирования. Предположим, что я не могу отслеживать внутреннее время выполнения функции.

Теперь я выполняю два запуска (вкл / выкл) и просто предполагаю, что разница между результирующим временем выполнения - это время выполнения моей функции.

Я знаю, что это не совсем правильно, поскольку я смотрю на два отдельных прогона, на которые могут влиять сетевое взаимодействие, программные c над головой или гравитационное притяжение Луны. Тем не менее, я надеюсь, что могу предположить, что результат все еще будет жизнеспособным, если у меня будет достаточно большое количество запросов.

Теперь по настоящему вопросу. Я делаю выше, используя среднее время ответа. Что не идеально, но более или менее хорошо. У меня вопрос: а что, если я вместо этого сейчас использую процентиль (скажем, 95-й)? Станет ли мой несовершенный подход вычитания-из-B значительно более несовершенным при использовании процентилей?

Answer 1

Я бы придерживался процентилей , так как «средний» подход может скрыть проблему, например, если у вас очень низкое время отклика во время начальной фазы теста, когда нагрузка низкая и очень высокая Время отклика во время основной фазы теста, когда нагрузка огромна, подход arithmeti c Среднее даст вам нормальные sh значения, в то время как с процентилями вы получите информацию, что время отклика для 95% запросов было Х или выше.

Дополнительная информация: Общие сведения о ваших отчетах: Часть 3. Ключевые статистические показатели Тестеры производительности должны понимать