Google Web Optimizer (A / B Testing) Почему нет явного победителя?

Question

Я ранее спрашивал , сколько времени требуется для появления выигрышной комбинации в Google Web Optimizer , но теперь у меня возникла еще одна странная проблема во время A / B-теста:

В течение последних двух дней Google объявлял, что был " High Confidence Winner ", который имел 98,5% шанс превзойти исходную вариацию на 27,4% .Отлично!

Я решил оставить его включенным, чтобы абсолютно был уверен, но случилось нечто странное: сегодня Google говорит, что они "не собралиданных пока недостаточно, чтобы показать какие-либо существенные результаты »(как показано ниже).Конечно, цифры немного изменились немного , но они все еще очень высоки: 96,6% шанс победить оригинал на 22% .

Итак, почему Google не уверен в этом сейчас?

Как он мог превратиться из статистически значимого победителя с высоким уровнем доверия в отсутствие данных, достаточных для его вычисления??Мои цифры слишком малы, чтобы Google был абсолютно уверен или что-то в этом роде?

Спасибо за любые идеи!

Answer 1

Как это могло перейти от наличия статистически значимого победителя "High Confidence" к нехватке данных для его расчета?

Во всех статистических тестах есть то, что называется p-значение , которое представляет собой вероятность получения наблюдаемого результата случайным образом, предполагая, что нет разницы между тем, что тестируется.Поэтому, когда вы запускаете тест, вам нужно небольшое p-значение, чтобы вы могли быть уверены в своих результатах.

Так что в GWO должно быть p-значение от 1,5% до 3,4% (я предполагаю,это 2,5%, по крайней мере, в этом случае, возможно, это зависит от количества комбинаций)

Так что, когда (100% - шанс победить%)> p-значение, тогда GWO скажет, что оно имеетнедостаточно собранной информации, и если комбинация имеет (100% - шанс побить%)

Подводя итог, вы не должны часто проверять результаты, вы должны настроить тест, а затем проигнорировать его длядолго, потом проверяйте результаты.

Не слишком ли малы мои цифры, чтобы Google был абсолютно уверен, или что-то в этом роде?

Нет