Мы провели ряд тестов АА, чтобы проверить правильность нашей настройки Optimize, однако мы видим большое количество ложных срабатываний (т. Е. Optimize сообщает о явных лидерах, несмотря на отсутствие различий в вариантах).
Настройка опыта Теперь мы настроили и запустили 6 экспериментов, настроенных как тесты АА. Каждый опыт настраивается как тест AB с 2 вариантами, которые не имеют различий, и трафик 50/50 распределяется по каждому варианту. Основная цель имеет тип «события», и мы использовали различные события в качестве основной цели для различных событий. Таргетинг на страницы устанавливается на все страницы домена (КОГДА URL начинается с https://www.ourdomain.com),, а нацеливание на аудиторию устанавливается на всех посетителей. Для каждого опыта мы запускали диагностику, и установка Optimize была успешно подтверждена.
Отчет об опыте Все 6 опытов доведены до такой степени, что Optimize сообщает либо о явном лидере, либо об отсутствии явного лидера. Мы ожидали бы, что большинство тестируемых опытов сообщают о неубедительных результатах (без явного лидера), если нет различий междуварианты. Однако из 6 опытов, 2 сообщают, что есть четкий лидер, основанный на наборе первичных целей. Это ложноположительный показатель 33% - намного выше, чем мы ожидали.
Какмы бы пошли на отладку, что является причиной такого высокого уровня ложных срабатываний?