В эксперименте мы заботимся о показателях кликов на страницу (#clicks / #pages). При проведении эксперимента единица диверсии, которую мы рандомизировали, - это «пользователь», а не «страница». Я запутался в том, какую единицу анализа мне следует использовать для анализа значимости.
Если я использую «страницу», меня беспокоит, что я нарушу одно из допущений в проверке гипотез: единицы должен быть независимым. Поскольку рандомизация по «пользователю» будет означать, что некоторые страницы принадлежат одному и тому же пользователю, коррелируются.
Если я использую «пользователя», это означает, что я рассчитываю кликов на страницу для каждого пользователя, затем возьмите в среднем кликов на страницу пользователей. Таким образом, я обеспокоен тем, что среднее значение не будет взвешено, т. Е. Пользователь, у которого было 1 просмотр страницы и кликнул (клик на страницу: 100%), будет взвешен так же, как и пользователь, у которого было 100 просмотров страниц и который кликнул один раз (щелкните за страницу: 1%). В этом примере среднее количество кликов на страницу для пользователя будет (100% +1%) / 2 ~ = 50%, но средневзвешенное количество кликов на страницу составляет (1 + 1) / (1 + 100) ~ = 2%. .