Google Web Optimizer - Сколько времени осталось до выигрышной комбинации? - PullRequest
2 голосов
/ 11 июня 2010

Я провел A / B-тест в Google Web Optimizer уже шесть недель, и конца этому пока не видно. Google по-прежнему говорит: «Мы еще не собрали достаточно данных, чтобы показать какие-либо существенные результаты. Когда мы соберем больше данных, мы сможем показать вам выигрышную комбинацию».

Есть ли способ сказать, насколько близок Google к определению? (Кто-нибудь знает, какой алгоритм он использует, чтобы определить, были ли «высоконадежные победители»?)

Согласно справочной документации Google:

Иногда нам просто нужно больше данных для быть в состоянии достичь уровня высокого доверие. Испытанная комбинация обычно требуется около 200 конверсий для нас, чтобы судить о его работе с определенность.

Но в настоящее время все наши обращения имеют более 200 разговоров:

230/4061 (оригинал)
223/3937 (вариант 1)
205/3984 (вариант 2)
205/4007 (вариант 3)

Сколько еще придется бежать ??

Спасибо за любую помощь.

1 Ответ

2 голосов
/ 13 июня 2010

Есть ли способ сказать, насколько близко Google решает?

Вы можете использовать калькулятор GWO, чтобы определить, сколько времени займет тест, исходя из ряда предоставленных вами предположений. Имейте в виду, однако, что существует вероятность того, что между вашей тестовой комбинацией не будет существенных различий, и в этом случае тест на определение того, что лучше всего, займет бесконечное количество времени, поскольку невозможно найти победителя.

(Кто-нибудь знает, какой алгоритм он использует для определения наличия «высоконадежных победителей»?)

Это загадка , но в большинстве, если не во всех, статистических тестах есть то, что называется p-значением, которое представляет собой вероятность получения столь же экстремального результата, как и тот, который наблюдался случайно. , Тесты GWO выполняются до тех пор, пока значение p не превысит некоторый порог, вероятно, 5%. Чтобы быть более понятным, тесты GWO выполняются до тех пор, пока комбинация не станет значительно лучше, чем исходная комбинация, так что вероятность того, что результат будет получен только по случайности, составляет 5%.

Для вашего теста, похоже, нет значительного победителя, это ничья.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...