Как вы используете разделение трафика GAE для многомерного тестирования?

Question

Новая функция GAE разделения трафика была выпущена сегодня, и одно из ее предназначений предназначено для многомерного тестирования. Это может означать, что вы должны создать и развернуть несколько версий приложения, по одной для каждого варианта теста, что подразумевает, что вы также разветвили свою систему контроля версий (по одной ветке на тест). Это кажется неэффективным способом управления тестированием. Кроме того, в нем, похоже, отсутствует какая-либо платформа для управления тестами, в отличие от Оптимизатор веб-сайта Google , который включает пользовательские интерфейсы для управления несколькими тестами, а также включает все инструменты сбора и анализа статистики.

Кто-нибудь задумывается об использовании новой функции разделения трафика для многомерного тестирования? Зачем использовать это через Оптимизатор веб-сайта? Как бы вы настроили тесты на разделение трафика - вы бы добавили свою систему контроля версий, а также создали бы свою собственную инфраструктуру для измерения и анализа тестов? Или вместо того, чтобы писать свой собственный код, есть ли многомерная библиотека тестирования, которая бы хорошо работала для этой цели?

Answer 1

Вы выбираете разделение трафика между версиями развернутого приложения, а не обязательно разные ревизии в вашем контроле версий.Код в каждой версии не должен сильно отличаться.В java вы определяете версию в appengine-web.xml.

Скажем, например, что вы хотите запустить простой тест AB, чтобы сравнить версию вашего сайта с рекламой, с другой без.Вы можете искать влияние на показатель отказов, время загрузки, эффективность рекламы, что угодно.В своем коде вы можете просто обернуть код, отображающий рекламу, в блок кода с флагом, например:

if (ADS_ON) {
   // display ad...
}

Вы устанавливаете версию приложения на "ads-on", а для ADS_ON устанавливается значение true и развертываете.Затем вы должны установить версию приложения в "ads-off" и установить ADS_ON в false и повторно развернуть.

Теперь, когда я его набрал, да, я согласен, что это немного неуклюже, но эта новая функция по-прежнемупозволяет делать то, что раньше вы не могли.Вы сможете взглянуть на приборную панель appengine для каждой версии и сравнить, как они потребляют ресурсы.

Если вы хотите проверить эксплуатационные расходы двух совершенно разных реализаций, то было бы целесообразно иметь две ветви в вашемконтроль версий.