Релевантность Solr - Как проверить A / B на качество поиска?

Question

Я хочу провести эксперименты в режиме реального времени и под контролем, чтобы помочь понять, как изменения влияют на качество поиска.Я буду тестировать такие переменные, как значение буста и нечеткие запросы.

Какие еще метрики используются, чтобы определить, предпочитают ли пользователи А против В?Вот 2 метрики, которые я нашел в Интернете ...

• В Google Analytics «% результатов поиска» - это метрика, которую можно использовать для измерения качества результатов поиска по сайту

• Другим способом измерения качества поиска является измерение количества страниц с результатами поиска, которые просматривает посетитель.

Answer 1

Качество поиска не легко измеримо. Для измерения релевантности вам нужно иметь несколько вещей:

1. Конкурент для измерения релевантности. Для вашего случая разные экземпляры вашей поисковой системы будут конкурентами друг для друга. Я имею в виду, что у одного экземпляра поисковой системы будет работать базовый алгоритм, другой с включенным нечетким, другой с нечетким и повышающим, и так далее.

2. Вам необходимо вручную оценить результаты. Вы можете попросить своих коллег оценить пары запрос / URL для популярных запросов, а затем для дыр (т. Е. Для пары запрос / URL без оценки можно использовать функцию динамического ранжирования с помощью алгоритма «Обучение ранжированию» http://en.wikipedia.org/wiki/Learning_to_rank. удивлен этим, но это правда (пожалуйста, прочитайте ниже пример Google / Bing).

Google и Bing являются конкурентами на рынке горизонтального поиска. Эти поисковые системы нанимают судей по всему миру и вкладывают в них миллионы, чтобы оценить свои результаты по запросам. Таким образом, для каждой пары запрос / URL обычно оцениваются первые 3 или 5 лучших результатов. На основании этих рейтингов они могут использовать такую ​​метрику, как NDCG (нормализованная дисконтированная кумулятивная прибыль), которая является одной из лучших и самой популярной метрикой.

Согласно википедии :

Дисконтированный совокупный доход (DCG) - это мера эффективности алгоритма поисковой системы в Интернете или связанных с ним приложений, часто используемых при поиске информации. Используя градуированную> шкалу релевантности документов в наборе результатов поисковой системы, DCG измеряет полезность или прибыль документа на основе его положения в списке результатов. Усиление накапливается> от верха списка результатов к низу, при этом усиление каждого результата обесценивается на> более низких рангах.

Википедия прекрасно объясняет NDCG. Это короткая статья, пожалуйста, пройдите.

Как вы упомянули, у вас также может быть клик через рейтинг / данные, где у вас есть своего рода мудрость толпы Алгоритм, и вы настраиваете релевантность, основываясь на этом. Это очень хороший выход, но он привлекает спам. Поэтому он должен быть связан с некоторыми показателями, такими как NDCG / MAP и т. Д., Чтобы решить вашу проблему релевантности.

Я могу предоставить более подробную информацию по этому вопросу, если вам все еще нужно узнать больше о том, как все это будет работать вместе в вашем примере.