Система рекомендаций - Recall@K и Precision@K

Question

Я создаю систему рекомендаций для своей компании, и у меня возник вопрос о формуле для вычисления precision@K и recall@K, которую я не смог найти в Google.

С precision@K, общей формулой будет пропорция рекомендуемых элементов в наборе top-k, которые являются релевантными.

Мой вопрос заключается в том, как определить, какие элементы являются релевантными, а какие нет, потому что пользователь не обязательно взаимодействует со всеми доступные предметы, но только небольшая их часть. Что, если не хватает основополагающих правдоподобий для топ-k рекомендуемых предметов, что означает, что пользователь не взаимодействовал с некоторыми из них, поэтому у нас нет фактического рейтинга? Должны ли мы игнорировать их из расчета или считать их не относящимися к делу элементами?

Следующая статья предлагает игнорировать эти элементы невзаимодействия, но я не совсем уверен в этом.

https://medium.com/@m_n_malaeb / отзыв-и-точность-в-к-для-рекомендации-системы-618483226c54

Большое спасибо заранее.

Answer 1

Вы упомянули "рекомендуемые элементы", поэтому я предполагаю, что вы говорите о расчете точности для механизма рекомендаций, то есть числа прогнозов в верхней части k, которые являются точными прогнозами будущих взаимодействий пользователя.

Цель механизма рекомендации - моделировать будущие взаимодействия из прошлых взаимодействий. Такая модель обучается на наборе данных взаимодействий, так что последнее взаимодействие - это цель, а n прошлые взаимодействия - это особенности.

Поэтому точность можно рассчитать, запустив модель на тестовом наборе, где Основная истина (последнее взаимодействие) была известна, и деление числа прогнозов, в которых основная истина находилась в пределах верхних k прогнозов, на общее количество тестовых элементов.

Элементы, с которыми пользователь не взаимодействовал, делают не подходит, потому что мы обучаем модель поведению других пользователей.