Что вы делаете, если размер выборки для теста A / B больше, чем популяция? - PullRequest
0 голосов
/ 03 февраля 2019

У меня есть список из 7337 клиентов (выбран, потому что у них было только одно бронирование с марта по август 2018 года).Мы собираемся связаться с ними и пытаемся проверить влияние этих действий на их продажи.Идея состоит в том, что контакт с ними заставит их больше бронировать и увеличить продажи этой в основном неактивной группы.

Мне нужно настроить A / B-тест, и в настоящее время я застрял в расчете размера выборки.

Вот мои примеры данных: Данные

Первый столбец - это их идентификаторы, а второй столбец - общие продажи для этой группы за 2 недели в январе (я взял 2 недели какклиенты в этой группе покупают очень редко).

Метрикой, на которой я остановился, был Доход на одного клиента (RPC = общий доход / общий клиент), поэтому я могу учитывать как количество заказов, так и среднюю стоимость заказагруппа.

RPC для этой группы составляет $ 149 482,7 / 7337 = $ 20,4

Я бы хотел обнаружить увеличение показателя как минимум на 5% при мощности 80% и 5% уровень значимости.Сначала я вычислил величину эффекта.

Стандартное отклонение набора данных = 153,9 Размер эффекта = (1,05 * 20,4-20,4) /153,9 = 0,0066

Затем я использовал пакет pwr в R длярассчитать размер выборки.

pwr.t.test (d = 0,0066, sig.level = .05, power = .80, type = 'two.sample')

 Two-sample t test power calculation 

          n = 360371.048
          d = 0.0066
  sig.level = 0.05
      power = 0.8
alternative = two.sided

Размер выборки, который я получаю, составляет 360 371.Это больше, чем численность моего населения (7337).

Означает ли это, что я не могу запустить свой тест на достаточной мощности?Единственный способ определить размер выборки без ущерба для значимости или мощности - это увеличить размер эффекта, чтобы определить минимальное увеличение на 50%, что даст мне n = 3582.

Это звучит какдовольно сильное воздействие, и я не уверен, что можно ожидать сильного удара.

Означает ли это, что я не могу провести здесь тест А / Б для измерения удара?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...