Большинство тестов AB, о которых вы слышали, относятся к тестам на стороне клиента, основанным на внедрении JS в браузер. Тестирование в приложении Java требует другого подхода.
Вы можете использовать бесплатный инструмент с открытым исходным кодом, например Planout . Это служит основным разделителем трафика и использует детерминированный алгоритм хеширования, так что вы получаете постоянные вариации, если вы продолжаете использовать один и тот же идентификатор пользователя.
Если вам нужна более надежная функциональность, вам может потребоваться коммерческий пакет. Для тестирования в приложении (мобильный, веб, бэкэнд) обычно требуется 1 из 2 форм:
- Подход API: ваше приложение может отправить запрос на сервер, управляемый поставщиком, с запросом варианта для текущего пользователя. Недостатком здесь является снижение производительности ожидания ответа каждый раз, когда вам нужны варианты пользователя.
- SDK: предоставляемый поставщиком SDK, который вы реализуете в своей кодовой базе Java, который использует детерминированный хеш для определения вариации для пользователя. SDK потребуется извлечь какой-либо файл данных со статусом эксперимента, распределением трафика и т. Д. С сервера до запуска эксперимента (и с некоторой частотой обновления), но затем позволит вам определить изменения в памяти (без блокирования сетевых вызовов). Отслеживание звонков можно отправлять в асинхронном режиме.
Коммерческий пакет даст вам несколько преимуществ по сравнению с бесплатным решением, таким как удобный веб-портал для управления экспериментами, статистический калькулятор, инструменты контроля качества, флаги функций, разрешения пользователей, текущие обновления и поддержка и т. Д.
Отказ от ответственности: я работаю на Optimizely, который разрабатывает платформу на основе SDK для тестирования AB и флагов функций.