Я делаю сплит-тестирование на python / django или / / b-библиотеку для собственного использования.Однако я не знаю, как рассчитать, является ли мой тест статистически значимым.Я не разбираюсь в статистике, поэтому не могу понять большинство статей Википедии или веб-страниц по этой теме, поэтому я ищу помощи у моих коллег-программистов.
У меня есть простой эксперимент с 4 вариантамиесть некоторые данные пользователей, использующих его.Каждый пользователь имеет один из 4 вариантов (для аргумента мы можем вызвать первый элемент управления).Каждый пользователь был либо успешным, либо неудачным, поэтому я знаю коэффициент конверсии каждого варианта.Как мне определить, является ли мой тест статистически значимым или все случайное.
По сути, мой ввод будет [ (a_yes, a_total), (b_yes, b_total), (c_yes, c_total), (d_yes, d_total)], и легко определить коэффициент конверсии для каждого варианта, даже насколько хорошокаждый из них сравнивается с a, но как мне выяснить статистическую значимость этого, чтобы я мог узнать, говорит ли мне этот тест что-нибудь, или я должен продолжать запускать его и собирать больше данных.
Я видел несколько руководств по использованию некоторых формул, когда есть только 2 варианта (традиционный тест a / b), но я хочу, чтобы эта библиотека обрабатывала несколько вариантов.Можно ли даже рассчитать статистическую значимость с несколькими значениями.
По сути, я пытаюсь сделать что-то похожее на это http://mixpanel.com/labs/split-test-calculator, но в python.Бонусные баллы, если есть какая-то библиотека Python, которую я могу просто "pip install ..."