Я пытаюсь согласовать предварительный тест расчета размера выборки с анализом после теста.
Для предварительного тестирования я использую следующую ссылку: https://www.evanmiller.org/ab-testing/sample-size.html.
Предполагается, что для 20% базовой конверсии, 5% абсолютного минимального эффекта, 80% мощности и 5% альфа - вам нужно 1030 выборок на вариацию. Хорошо.
Но для анализа после теста я использую следующую ссылку (https://abtestguide.com/calc/), чтобы вычислить результат результатов теста. Предполагается, что:
Если я наблюдаю 160/800 в Варианте A и 200/800 в Варианте B (20% базовый уровень + 5% эффект), этот тест является значимым на уровне 5% альфа и наблюдается мощность ~ 93%.
Как мне примирить эти вещи? Калькулятор размера выборки сказал, что для определения 5% эффекта при 5% альфа и 80% мощности мне нужно минимум 1030 на вариацию выборки. Однако, добавив результаты с более низкой выборкой для того же размера эффекта, я получаю значимость и большую мощность.
Чего мне не хватает?