Устранить ноль в редких матричных данных

Question

У меня есть обработчик данных таким образом:

User    Movie
        0 1 2 3 4 
      0 2 0 5 0 0
      1 0 1 0 0 0
      2 0 5 5 5 0

от 1 до 5 - это значение оценки пользователя для фильмов, в противном случае - ноль (нет обзора).

Я не знаюу них нет полных столбцов, все данные редки (хотя бы один ноль в столбце)Какой метод для удаления этого шума?Я помню, что вместо того, чтобы использовать ноль, я могу использовать среднее значение, и после некоторого упрощения, но я не уверен ..

Любое предложение?

Answer 1

Одна из идей, когда у вас отсутствуют данные (в вашем случае нули), состоит в том, чтобы попытаться использовать известные данные для заполнения пропущенных значений. Другими словами, учитывая частичный вектор признаков для индивидуума, мы хотим вывести оставшиеся значения. Тривиальный способ сделать это - просто использовать среднее значение для отсутствующего столбца (конечно, тогда предполагаемое значение не зависит от известных значений для этого человека или значений, известных для людей, подобных им!). Вы также можете, например, кластеризовать пользователей (используя только известные значения, которые разделяют оба человека) и вычислить средние значения для отсутствующих столбцов только внутри каждого кластера.

Очень важная литература для изучения - это использование матрицы завершения для рекомендательных систем (что на самом деле похоже на то, что вы в основном пытаетесь сделать) и совместная фильтрация . Импутация использовалась, но довольно дорого для крупномасштабных наборов данных. Проверьте Корен и др., Методы факторизации матрицы для рекомендательных систем для некоторых из используемых методов.

Другая перспектива заключается в использовании полуобучаемых методов обучения вероятностного представления. В основном вы изучаете генеративную модель данных, такую, что вы можете частично указать представление и автоматически вывести оставшиеся значения. Одно предостережение - это может быть дорого, так как в этом случае вам нужно определить стохастический узел для объекта. Рассмотрим, например, Сиддарт и др., Изучение распутанных представлений с полууправляемыми глубокими порождающими моделями