Как оценить поисково-поисковую систему, используя trec_eval? - PullRequest
Новая
       39

Как оценить поисково-поисковую систему, используя trec_eval?

13 голосов
/ 25 ноября 2010

Есть ли тело, которое использовало TREC_EVAL? Мне нужен "Trec_EVAL для чайников".

Я пытаюсь оценить несколько поисковых систем, чтобы сравнить такие параметры, как Recall-Precision, качество рейтинга и т. Д. Для моей дипломной работы. Я не могу найти, как использовать TREC_EVAL для отправки запросов в поисковую систему и получения файла результатов, который можно использовать с TREC_EVAL.

1 Ответ

17 голосов
/ 18 ноября 2011

По сути, для trec_eval вам нужна (созданная человеком) основополагающая истина. Это должно быть в специальном формате: 

query-number 0 document-id relevance

Учитывая коллекцию, такую ​​как 101Категории ( запись в Википедии ), это будет что-то вроде 

Q1046   0   PNGImages/dolphin/image_0041.png    0
Q1046   0   PNGImages/airplanes/image_0671.png  128
Q1046   0   PNGImages/crab/image_0048.png   0

Таким образом, номер запроса идентифицирует запрос (например, изображение из определенной категории, чтобы найти похожие). Результаты из вашей поисковой системы должны быть преобразованы в 

query-number    Q0  document-id rank    score   Exp

или на самом деле 

Q1046   0   PNGImages/airplanes/image_0671.png  1   1   srfiletop10
Q1046   0   PNGImages/airplanes/image_0489.png  2   0.974935    srfiletop10
Q1046   0   PNGImages/airplanes/image_0686.png  3   0.974023    srfiletop10

как описано здесь . Возможно, вам придется скорректировать имена путей для «идентификатор документа». Тогда вы можете рассчитать стандартные метрики trec_eval groundtrouth.qrel results. trec_eval --help должен дать вам несколько идей по выбору правильных параметров для использования измерений, необходимых для вашей диссертации.

trec_eval не отправляет никаких запросов, вы должны подготовить их самостоятельно. trec_eval делает только анализ с учетом позиции и ваших результатов.

Некоторую базовую информацию можно найти здесь и здесь .

...