Ваша интуиция верна. В теории рандомизация по странице будет работать нормально. Обе группы лечения будут иметь сбалансированные характеристики в ожидании.
Тем не менее, размер выборки довольно мал, поэтому вы должны быть осторожны. Простая рандомизация может создать дисбаланс случайно. Стандартным решением является блок по характеристикам предварительной обработки рубашек. Наиболее важной характеристикой является ваш результат до лечения, который, как я полагаю, является коэффициентом конверсии.
Существует множество способов создания «сбалансированных» рандомизированных дизайнов. Например, вы можете создавать пары, используя оптимальное соответствие , и рандомизировать внутри пар. Более грубое совпадение может быть найдено путем ранжирования страниц по их коэффициенту конверсии за предыдущую неделю / месяц и последующего создания пар соседей. Или вы можете объединить блокированную рандомизацию с предложением Аарона: рандомизировать в парах, а затем переворачивать лечение каждую неделю.
Второй проблемой, несколько не связанной, является взаимодействие между обработками . Это может быть более проблематичным. Возможно, что если пользователь увидит одну кнопку на одной странице, а затем другую кнопку на другой странице, эта новая кнопка будет иметь особенно большой эффект. То есть вы действительно можете рассматривать лечение как независимое? Влияет ли кнопка на одной странице на вероятность перехода на другую? К сожалению, это возможно, особенно потому, что если вы покупаете футболку на одной странице, вы, скорее всего, вряд ли купите футболку на другой странице. Я бы беспокоился об этом больше, чем рандомизация. Стандартный подход - рандомизация уникальным пользователем - лучше имитирует ваш окончательный дизайн.
Вы всегда можете запустить эксперимент, чтобы увидеть, получаете ли вы те же результаты, используя эти два метода, а затем перейти к более простому, если вы это сделаете.