Вы правы в том, что точность и отзыв, а также показатель F / F - это часто используемые метрики для оценки (не оцененных) поисковых наборов в производительности поисковой системы.
И вы также правы относительно трудной или невозможной природы определения показателей отзыва и точности для огромного массива данных, таких как все веб-страницы во всем Интернете. Для всех поисковых систем, маленьких или больших, я бы сказал, что важно учитывать роль взаимодействия человека в поиске информации: заинтересован ли пользователь, использующий поисковую систему, иметь (ранжированный) список релевантных результатов, отвечающих их потребностям в информации или одного «верхнего» релевантного результата будет достаточно для удовлетворения информационных потребностей пользователя? Ознакомьтесь с понятием «удовлетворительно», поскольку оно относится к поиску информации для получения дополнительной информации о том, как пользователи оценивают, когда их информационные потребности удовлетворяются.
Независимо от того, используете ли вы точность, отзыв, среднюю точность, средний ответный ранг или любую другую из многочисленных метрик релевантности и поиска, это действительно зависит от того, что вы пытаетесь оценить в отношении качества результатов своей поисковой системы. , Сначала я бы попытался выяснить, какого рода «информационные потребности» могут возникнуть у пользователей моей небольшой поисковой системы: будут ли они искать подборку релевантных документов или будет более полезным для их запросов, если они у них есть »? лучший документ для удовлетворения своих информационных потребностей? Если вы сможете лучше понять, как ваши пользователи будут использовать вашу небольшую поисковую систему, вы можете использовать эту информацию, чтобы помочь сообщить, какие модели релевантности дадут вашим пользователям результаты, которые они считают наиболее полезными для удовлетворения своих потребностей в поиске информации.
- Возможно, вас заинтересует бесплатная онлайновая версия текста Мэннинга и Шютце «Введение в поиск информации» , доступного в отделе НЛП Стэнфорда, который охватывает модели релевантности и поиска, оценки и многое другое.
- Учебное руководство Google для оценки качества поиска , в котором перечислены несколько сотен измерений того, как результаты поиска Google ранжируются / оцениваются, также может быть интересным для вас, когда вы пытаетесь разобраться в поиске информации вашего пользователя. цели. Довольно приятно видеть все различные факторы, влияющие на оценку PageRank веб-страницы (алгоритм рейтинга страниц Google)!