Я пытаюсь провести статистический анализ различных A / B-тестов, чтобы выяснить, какая альтернатива лучше, и нашел противоречивую информацию по этому поводу.
Во-первых, меня интересует пара разных вещей:
- Тесты, которые измеряют успех путем подсчета событий, таких как конверсии или отправленные электронные письма
- Тесты, которые измеряют успех путем подсчета дохода
- Тесты, которые имеют только две альтернативы (контрольная и новая)
- Тесты, которые имеют несколько альтернатив (контроль и несколько новых)
Я надеялся найти простой набор формул или правил для этого анализа, но нашел больше вопросов, чем ответов.
Этот сайт говорит, что вы не можете сравнивать много альтернативные тесты; Вы можете проводить только парные сравнения и анализ хи-квадрат, чтобы увидеть, является ли весь тест статистически значимым или нет.
Этот сайт Предлагает способ проведения A / B / C / D-тестирования (начинается на слайде 74), анализируя результаты с помощью G-Test (который, как он говорит, относится к хи-квадрат) но не ясно о деталях использования фактора выдумки. Это также предполагает, что вы можете использовать подход A / B / C / D только для устранения альтернатив, пока не получите явного победителя в сравнении A / B.
На этом сайте приведен пример теста A / B / C / D (включая контроль) и показано, как сравнить коэффициент конверсии для определения победителя. В отличие от этот подход не рекомендует исключать альтернативы, а скорее выбирает победителя сразу (при условии статистически значимых результатов).
Возможно, я наивен, но я бы подумал, что к настоящему времени будет существовать библиотека анализа статистики для решения этой самой проблемы. Я также был бы признателен за дополнительную информацию о том, какие алгоритмы / уравнения необходимы для решения этих проблем. Прошло много времени с моего университетского класса по статистике.