A / B тестирование на новостном сайте для повышения релевантности

Question

Если у вас был новостной сайт, на котором был создан список из 10 главных новостей, и вы хотели внести изменения в свой алгоритм и посмотреть, понравится ли людям новый топ-микс, как бы вы подошли к этому?

Простая регистрация кликов в базе данных, связанной с записью?

A / B-тестирование, где вы должны показать одну версию алгоритма, чтобы сгруппировать A, а другую - с группой B и измерить клики?

На каких характеристиках вы бы основали свое решение относительно того, были ли изменения лучше?

Answer 1

В дополнение к мониторингу количества кликов, также может быть полезно следить за тем, как долго они смотрят на историю, по которой щелкнули. Это более сложные данные, но предоставляет другой уровень информации. Тогда вы не только увидите, привлекают ли выбранные вами истории внимание пользователя, но и смогут ли эти истории сохранить его.

Вы могли бы провести статистический анализ (т. Е. T-критерий, как предложил Тим), но вы, вероятно, не получите достаточно низкого стандартного отклонения по любому показателю, чтобы доказать значимость. Хотя это не имеет большого значения: все, что вам нужно, это чтобы один из алгоритмов имел среднее число кликов и / или затраченное время. Надеюсь, не нужно дурачиться с проверкой гипотез.

Конечно, всегда есть возможность просто спросить пользователя, были ли рекомендации актуальны, но это может быть неосуществимо для вашей ситуации.

Answer 2

A / B-тестирование кажется хорошим началом и рандомизирует участников. Вы должны будете помнить их, чтобы они никогда не видели обоих.

Вы можете рассматривать это как эксперимент по поведенческой психологии, сделать T-тест и т. Д.