Мы запустили тест AB, чтобы опробовать разные потоки регистрации.
Проблема в том, что в эксперимент включаются как новые, так и существующие пользователи. Это делает цифры в панели управления экспериментами firebase неточными, потому что будет сказано, что 100 из 900 человек заполнили форму регистрации в варианте-1, хотя только 400 из них были фактически новыми пользователями, которые даже видели новую форму регистрации.
Как настроить эксперимент, чтобы фильтровать только новых пользователей?
Теоретически кажется, что мы должны решить эту проблему, установив событие активации эксперимента равным first_open
,но мы загружаем удаленную конфигурацию в наш экран-заставку сразу после запуска нашего приложения, и форма регистрации - это следующий экран (за исключением существующих пользователей, которые отправляются на панель инструментов).
Я обеспокоен тем, что это может привести к состоянию гонки, если событие first_open
не завершит обработку / передачу в базе данных Firebase до того, как приложение отправит запрос в удаленную конфигурацию, которая будет определять, какой вариант / вход в систему будет испытан. пользователь увидит.