Необходимость коррекции бонферрони в А / Б тестировании?

Question

Я новичок в области науки о данных.Я наткнулся на следующие утверждения, которые гласят:

1) More metrics we choose in our A/B testing, higher the chance of getting significant difference by chance.

2) To eliminate this problem we use Bonferroni correction method.

Что означает 1-е утверждение?Как это увеличивает шансы получить ложные срабатывания?и как метод коррекции Бонферрони помогает нам здесь?

Буду признателен за вашу помощь.Спасибо!

PS: я пытался найти ответ в Google, но не получил легкого объяснения.

Answer 1

Ну, при значении p 0,05 (что является широко используемым уровнем статистической значимости), вы получите ложноположительные результаты 5% времени.Таким образом, если в вашем анализе у вас есть один тест, ваш шанс ложного срабатывания составляет 5%.Если у вас есть два теста, у вас будет 5% для первого и 5% для второго. и так далее .Таким образом, для каждого дополнительного теста ваш риск увеличивается.Тем не менее, поскольку вы хотите сохранить свой уровень риска total на уровне 0,05, вы либо устанавливаете более строгий уровень статистической значимости (меньшее значение p ), либо используете какой-либо статистический метод для корректировки несколькихсравнения.Коррекция Бонферрони является одним из таких методов.