Несмотря на то, что Hadoop в настоящее время в основном используется для «автономной аналитики», он может быть полезен и для веб-проектов.Например, для предварительного расчета рекомендаций или предложений, которые затем предоставляются пользователям веб-сайта.
Другим примером использования является возможность ETL из нескольких источников данных для создания инвертированного индекса для веб-сайта (например, веб-сайты, похожие на рабочие места / автомобили / аренду, с огромными объемами входных данных).
Всегда думайте о Hadoop, когда у вас есть проблема с «большими данными», а не если ваш сайт управляет небольшими объемами данных.
Использование Hadoop для решения подобных проблем имеет свои преимущества и недостатки.Очевидное преимущество заключается в том, что любой пакетный процесс (например, упомянутые выше примеры) прозрачно масштабируется.Недостатком является то, что это не в режиме реального времени: вы не можете использовать Hadoop для обновления вашего сайта каждые 5 секунд.