Что такое статистически значимое изменение латентности?

Question

Рассмотрим случай, когда у меня есть четыре идентичных маршрутизатора, A, B, C и D, с запущенными busybox и ptpd.А и В соединены кабелем 1;C и D соединены кабелем 2. У меня есть небольшая программа на C на маршрутизаторах A и C, которая отправляет очень маленький пакет по UDP на противоположный маршрутизатор, и я использую pcap для определения времени отправки пакета и временион пришел к другому концу и вычислил среднее значение и отклонение для тысячи таких тестов.

Как узнать, отличаются ли эти кабели?Очевидно, что если один 500 мкс, а другой 10 мс, они разные.Но что, если результаты для одного имеют в среднем 200 мкс со стандартным отклонением 8, а результаты для другого имеют в среднем 210 мкс и стандартное отклонение 10. Насколько вероятно, что они отличаются?Какие вычисления я должен сделать, чтобы проверить это?И, на более техническом примечании, какова ожидаемая изменчивость в задержке?

Я понимаю, что любые промежуточные коммутаторы, концентраторы, маршрутизаторы и т. Д. Увеличат задержку и изменчивость, но если они напрямую связаны содин кабель, что такое нормальное отклонение?

Редактировать: Просто чтобы прояснить ситуацию - это не просто вопрос статистики.Я могу использовать t-критерий для определения вероятности разницы (спасибо), но я также хотел бы знать, какую разницу можно отнести к разным качествам сетевого оборудования.Например, если среднее из двух средних значений составляет 208,4 и 208,5, я подозреваю, что, что бы ни сказал t-критерий, кабели одинаковые, и разница исходит от тестовых машин.Или я не прав?Кабели часто меняются в небольших количествах?Я не знаю - какова нормальная разница между задержками?Какой тест мне нужен, чтобы различать разницу в кабелях и оборудовании?(Я не могу переключить кабели)

Answer 1

Во-первых, вам нужен учебник по тестированию статистических гипотез.

Тогда есть несколько способов ответить на ваш вопрос, но самый классический из них состоит в том, чтобы учесть, что наблюдаемая задержка является реальной переменной (назовем те T для времени), которая имеет неслучайный компонент, объясняемый поведением. каждого кабеля (назовем те C, для кабеля) и случайный компонент, который вы не можете объяснить, который может быть вызван случайными колебаниями или другими вещами, которые вы забыли принять во внимание (давайте назовем эти E, для ошибки).

Затем вы проведете серию наблюдений для кабеля A-B, и ваша модель будет:

T1_i = C1 + E1_i

Если вы считаете, что вклад кабеля остается неизменным, и изменяется только случайная величина E1.

Вы также сделаете серию наблюдений для кабеля C-D, и ваша модель будет:

T2_i = C2 + E2_i

Если вы считаете, что вклад кабеля остается неизменным, и изменяется только случайная величина E2.

Теперь вы в значительной степени решены. Вы обеспечите устранение всех систематических воздействий, поэтому E1 и E2 действительно являются колебаниями. В этих условиях можно предположить, что они нормальные (гауссовские).

Используя эту модель, вы можете использовать независимый t-критерий с двумя выборками, чтобы проверить, отличаются ли C1 и C2 от любого уровня доверия, который вы установили заранее.

Answer 2

То, что вы хотите, это t-тест из двух выборок.Вам не нужно делать какие-либо предположения о типичной дисперсии, которые вас беспокоят, они встроены в тест.Пожалуйста, найдите соответствующую страницу вики здесь .Однако статистически иное не обязательно совпадает с экономически различным.Вы можете подтвердить, что времена задержки между двумя маршрутизаторами действительно различны, но различаются достаточно, чтобы иметь значение?Трудно сказать, не зная больше о вашей ситуации, но будьте осторожны с тем, чтобы зайти слишком далеко в статистических сорняках.

Answer 3

Честно говоря, я не думаю, что статистика внесет большой вклад в то, что вы здесь делаете. Ваша стоимость сбора данных по существу равна нулю, и вы можете собрать произвольно огромные объемы этого. Запустите несколько миллионов / миллиардов пакетов по каждому кабелю и затем отобразите задержки на двух гистограммах с одинаковым масштабом. Если вы не видите разницы, то, вероятно, нет значимой.

Сводная статистика уничтожения информации. Есть много причин, по которым кто-то может захотеть их использовать, но я не думаю, что они будут здесь так полезны. Если вы хотите изучить статистику, я, безусловно, приветствую это - я думаю, что статистическая грамотность - это фундаментальный навык для людей, которые хотят быть в состоянии определить, когда кто-то кормит им чушь собачью. Но если вы просто хотите понять разницу в задержках между этими двумя кабелями, хорошо сделанная пара гистограмм будет гораздо более информативной.