Можем ли мы использовать NDCG в качестве рекомендуемой системы metri c, если отношение к рекомендованному элементу дано в двоичном виде? - PullRequest
Новая
       96

Можем ли мы использовать NDCG в качестве рекомендуемой системы metri c, если отношение к рекомендованному элементу дано в двоичном виде?

0 голосов
/ 16 января 2020

Как правило, существует релевантность, связанная с элементом в расчете ndcg, но если у нас есть только обратная связь в форме 0/1. Например,

list = {1,0,0,0,1}, когда мы порекомендовали 5 пунктов (первый и последний элементы здесь актуальны). Как мы рассчитываем здесь ndcg? и имеет ли значение порядок в оценке ndcg?

Кроме того, какие показатели полезны для оценки в рекомендации на основе двоичной обратной связи?

1 Ответ

0 голосов
/ 17 января 2020

NDCG@N (нормализованное дисконтированное совокупное усиление) - это измерение ранжирования для верхней позиции N в вашем ранжированном выводе, поэтому да, порядок здесь имеет наибольшее значение. Посмотрите хорошее описание, как рассчитать и для лучшего понимания на примере в статье википедии . Просто {0,1} в качестве оценки релевантности.

Другими полезными мерами для оценки результатов ранжированного списка из рекомендательных систем являются: коэффициент попаданий (HR@N), отзыв и точность (REC@N), средний рангоприкол (MRR@N), AU C, Среднее Процентное Ранжирование (MRP) или для градуированной релевантности (не ваш случай) Ожидаемый Взаимный Ранж (ERR)

...