AB тест на общий доход: как учесть коэффициент конверсии и RPV в моем ab-тесте? - PullRequest
0 голосов
/ 11 апреля 2019

У меня есть некоторые данные о покупке для двух групп людей, например:

Method     Revenue
------     -------
A          12
A          0
A          0
A          4  
A          0
B          0
B          8
B          0
B          4  
B          0

Цель теста A / B - максимизировать общий доход.

Проблема заключается в расчете статистической значимости разницы между общими доходами двух групп. Поскольку распределение доходов не является нормальным, мы не можем использовать обычную процедуру t-теста.

Другие методы, такие как метод ранксумов Уилкоксона, терпят неудачу из-за большого количества нулей (99% данных).

У нас большой набор данных (100 тыс. Записей), и общая разница в доходах между двумя методами очень высока. Тем не менее, ни один из методов не доказывает его значимость.

Другими словами, мы ищем метод, который учитывает как коэффициент конверсии, так и доход на платящего пользователя для статистического теста.

Я искренне ценю вашу помощь.

...