Решения A / B Test для заблокированной среды исходного кода - сторона сервера решает, какой пользователь получит, какой вариант

Question

Ранее я использовал такие инструменты, как Оптимизатор веб-сайта Google, для запуска многовариантных или A / B-тестов. Однако сейчас я ищу решение, которое работает для более крупного сайта (400-500 000 уникальных посетителей в месяц) с очень закрытой средой исходного кода. В основном:

1. Сайт сбалансирован по нескольким серверам
2. Весь код, который должен быть выпущен на любом из этих серверов, должен пройти контроль версий, модульное тестирование и тестирование на приемку. Все релизы должны быть подписаны разработчиком, sys-admin и тест-менеджером.

Это означает, что мне запрещено / трудно добавлять «новый код» (даже если он проверен и проверен) через Оптимизатор веб-сайта или любой другой тип решения с графическим интерфейсом «вставьте ваш новый вариант здесь» .

Однако на стороне сервера мы можем решить, какие пользователи получат какие варианты. По сути, мы можем запустить новую версию на X серверах, чтобы 10-30% пользователей просматривали ее в течение всего сеанса. Вопрос заключается в следующем: какие инструменты мы используем для измерения «успеха» (т. Е. Повышения коэффициента конверсии). Моя идея до сих пор была:

1. Пометьте новую версию в Google Analytics, используя переменную сеанса (а затем создайте отчеты на основе сегмента) (аналогично описанному в http://searchengineland.com/how-to-analyze-ab-tests-using-google-analytics-67404)

2. Используйте Optimizely с поддержкой API:

   window.optimizely = window.optimizely || [];
   window.optimizely.push(['bucketUser', EXPERIMENT_ID, VARIATION_ID])
   

Какие решения вы пробовали для закрытых сред? Я упускаю какое-то очевидное решение?

Сайт находится в .NET / Episerver на IIS.

С уважением, Никлас

Answer 1

Мы закончили с Google Analytics и добавили переменную сеанса, такую ​​как «abtest» со значением «вариация-4», и опубликовали ее на определенных узлах.Он работал довольно хорошо, с некоторыми ограничениями, а именно, что в аналитических воронках Google нет поддержки сегментов.

Answer 2

Вы можете использовать возможности тестирования AB, встроенные в EPiServer CMO.