Потенциальный недостаток - необоснованные результаты Firebase при тестировании AAB

Question

Я запускаю тест AAB, что означает, что в тесте есть две контрольные группы, чтобы убедиться в правильности распределения населения.И результаты говорят мне, что дублированная контрольная группа показывает положительные результаты, чем исходная группа.

Я дублировал тест несколько раз в двух приложениях, но результаты между исходными группами и дублированными контрольными группами по-прежнему различны.

Есть ли для этого какая-либо причина?

Answer 1

Некоторый процент полевых онлайн-экспериментов между идентичными контрольными группами покажет статистических победителей.Это называется ложным срабатыванием.Поддержка Firebase охватывает эту тему .

В разных статистических системах используются разные способы управления частотой ошибок (и ошибочным положительным результатом), например:

Leanplum

Оптимизировано

Если вы неоднократно сталкивались с ошибочным положительным результатом, это статистически маловероятно и обычно указывает на ошибку реализации или программную ошибку.

Отказ от ответственности: я работаю в Optimizely.