Java + Hadoop + NoSql (какие комбинации использовать)

Question

Я новичок в этом, и мое требование заключается в следующем:
Я хочу обработать огромный набор данных текста с рейтингами фильмов (в текстовом формате) и сохранить их в некоторой базе данных NoSQL, затем выполнить некоторую обработку и рекомендовать фильмы по одному конкретному фильму.

Так что мне нужна скорость - я думаю, что Hadoop поможет мне в этом, а хранение данных в базе данных NoSQL будет способствовать скорости. Я хотел бы знать, хорошо ли известен какой-то другой подход и какие комбинации используются с Java

Спасибо

Answer 1

Насколько огромен огромен? Возможно, вы захотите проверить Apache Mahout . Именно для этого он имеет очень эффективные структуры данных - хранение и обработку разреженных данных для алгоритмов совместной фильтрации. Он будет обрабатывать набор данных, скажем, 10 миллионов оценок на машине среднего размера +, если ваш набор данных начинает расти из одной машины, он поддерживает обработку разбиения с помощью hadoop.

Answer 2

Если вам интересно, какое хранилище данных NoSQL использовать, этот пост может помочь.