Как рассчитывается время отклика 95% в нагрузочном тесте Visual Studio?

Question

При анализе отчета о нагрузочных испытаниях VSTS мы находим время отклика для конечной точки, как показано ниже.

• среднее время отклика: - 0,68
• 90% время отклика: - 1,18
• 95% время отклика: - 1,34
• 99% время отклика: - 1,68

Частота дискретизации установлена ​​на 15 секунд, как рекомендовано VSTS (Когда мы устанавливаем менее 15 секундмы получаем предупреждение).Мы используем облачные предложения VSTS для генерации нагрузки.

На графике производительности (в результатах) показанные пики времени отклика составляют примерно 0,7 секунды и ничего выше этого.Когда мы загружаем образцы, мы видим, что все записи (1 запись в 15 секунд) имеют данные, совпадающие с данными, представленными на графике, и меньше 0,7 секунд.

Наше соглашение об уровне обслуживания должно поддерживать 1 секунду на 95%.Теперь мы не можем понять,

1. как рассчитывается время отклика 90%, 95% и 99% (с какими данными)
2. как мы можем получить больше данных о запросах, которые предоставилидо 95% времени отклика, чтобы мы могли отладить

Answer 1

Для каждого отдельного счетчика в каждом интервале выборки генерируется одно значение, и это значение отображается на графиках.Следовательно, графики часто, кажется, опускают пиковые значения.В таблицах результатов собраны все значения, а процентили для времени ответа рассчитываются путем исключения самых медленных значений.Если собрано всего N времени ответа, то 90-й процентиль исключает самые медленные 10% из этих N раз, аналогично для других процентилей.Чтобы понять диапазон времени отклика, сравните и сопоставьте эти значения:

• процентили.
• Среднее.Но помните, что среднее значение может быть искажено несколькими очень большими или очень маленькими значениями.
• Медиана.Что можно найти, исключив почти половину самых медленных значений и одинаковое количество самых быстрых значений.
• Минимальное и максимальное значения

У Microsoft есть несколько веб-страниц об анализе результатов нагрузочного теста, Эта страница является одной для начала.Поиск в Интернете таких терминов, как site:microsoft.com analysing load test results, должен найти гораздо более подробную информацию.

Значения процентиля рассчитываются с помощью хранимых процедур SQL, которые можно найти, изучив базу данных нагрузочного теста.На моем компьютере с Windows 10 он находится в файлах: C:\Users\AdrianHHH\LoadTest2010.mdf и C:\Users\AdrianHHH\LoadTest2010_log.ldf.Процедуры также показаны в скрипте создания базы данных нагрузочного теста, который должен быть в C:\Program Files\Microsoft Visual Studio 11.0\Common7\IDE\loadtestresultsrepository.sql (но измените 11.0, чтобы отразить вашу версию Visual Studio).