Делать выводы из статистической значимости нескольких тестов A / B? - PullRequest
0 голосов
/ 12 февраля 2020

Меня просят проанализировать результаты нескольких А / Б тестов. Было проведено 7 различных (независимых) тестов с одинаковыми нулевыми и альтернативными гипотезами. Эти 7 тестов были проведены в течение нескольких месяцев.

5 из 7 тестов имеют результаты, которые отвергают нулевую гипотезу со статистической значимостью. У 2 из 7 тестов есть результаты, в которых мы не можем отвергнуть нулевую гипотезу.

Могу ли я сделать выводы из результатов этих 7 тестов? Могу ли я сравнить значимость результатов каждого теста, чтобы прийти к окончательному выводу о гипотезах?

В принципе, есть ли способ сравнить результаты нескольких A / B-тестов (одни и те же гипотезы, проверенные в разное время) .

...