Мы провели тест AB на базе Firebase, который дал следующие результаты:
Я также строил свой собственный набор байесовских тестов AB и Мне было интересно, как они пришли к этим выводам.
Что я делал, так это запрашивал данные этого теста для контрольной группы и варианта C:
- контрольной группы: $ 11943 Доход от 900 плательщиков 80491 пользователей.
- Вариант C: $ 16487 Доход от 894 плательщиков пользователей 80224.
Мой алгоритм основан на этом инструменте: https://vidogreg.shinyapps.io/bayes-arpu-test/ . Когда я ввожу эти входные данные, я получаю следующий результат:
Этот инструмент кажется гораздо более очевидным, чем вариант C лучше, чем контроль затем группа Firebase. Также кажется, что распределения Firebase для выручки на пользователя искажены, в то время как инструмент байесовского ARPU имеет очень симметричное распределение.
Код для байесовского инструмента ARPU доступен. Они использовали сопряженные априорные значения, чтобы прийти к этим выводам на основе этой статьи:
https://cdn2.hubspot.net/hubfs/310840/VWO_SmartStats_technical_whitepaper.pdf
Кто-нибудь может мне помочь, какие результаты являются лучшими?