Мы начали A / B-тест для наших мобильных клиентов (iOS и Android), используя удаленную конфигурацию и условия в Firebase. Ранее мы использовали удаленную настройку и условия Firebase и получили результаты, которые имели бы для нас смысл. На этот раз они вообще не имели смысла. По пути мы выяснили некоторые ошибки, но они не будут совпадать с отслеживаемыми результатами.
Как мы его настроим
Для каждой платформы мы создали параметр удаленной конфигурации, как ios_cool_feature и android_cool_feature. Также мы создали условие для каждого параметра, которое будет относиться к определенной c платформе и затрагивать только 50% пользователей (даже используя указанный c ключ рандомизации только для одного условия).
Каждый раз, когда приложения открывались в первый раз и извлекали удаленную конфигурацию, они сообщали о варианте (A или B, и iOS или Android) к нашей серверной БД.
Результат
Теперь, спустя 3 месяца, мы проверили отслеживаемые данные и увидели, что на обеих платформах вариант B будет влиять только примерно на 20-25%.
Но мы ожидали около 50%. Итак, мы снова проверили нашу настройку.
Ошибки, которые имели еще меньше смысла
Мы поняли, что настройка для Android была в порядке, но настройки для iOS даже не существовало, потому что мы создали ее только для нашего теста среда, а не для производства ...
Теперь я задаю себе вопрос
- Как приложение iOS может получить вариант для этого параметра, если он не существует?
- Как получаются эти 25% вместо 50% даже для Android, где настройка была правильной?