Я создал эксперимент a / b с базой огня с сохранением d1 в качестве целевой метрики. Вчера я проверил результаты и имел (например) 30 сохраненных пользователей в одной группе. Когда сегодня я снова проверил эксперимент, в этой группе было только 20 пользователей, а затем 22 минуты спустя. (Пока что к эксперименту не добавляли новых пользователей, что нормально). Все остальные группы также имели совершенно разные значения.
Я знаю, что в моем эксперименте по-прежнему недостаточно данных, чтобы найти группу-победителя, но я все же ожидал бы, что данные будут согласованными и не будут случайным образом изменяться в течение дня (особенно потеря оставшихся пользователей, что даже не должно быть возможным (особенно 33). % скачет))?
Единственное объяснение, которое я могу придумать, заключается в том, что деинсталляции каким-то образом удаляются у оставшихся пользователей, но не общее количество пользователей в экспериментальной группе? Это было бы отстойно, потому что на данном этапе меня не волнует деинсталляция, но я очень беспокоюсь о сохранении raw d1. Может, у кого-то здесь есть лучшее объяснение или он знает, что происходит?