Как реализовать поиск в Интернете с помощью Hadoop / Hbase?

Question

Как реализовать веб-поиск с использованием Hadoop / Hbase.Кто-нибудь может дать мне несколько руководств или учебник только для начала?

Answer 1

Попробуйте lily project, это касается индексации данных таблицы hbase, и индексированные данные могут быть легко использованы для реализации поиска.вот ссылка, на которую вы можете сослаться

http://www.lilyproject.org/lily/index.html

Lily объединяет Apache HBase, Hadoop и Solr во всеобъемлющую интегрированную интерактивную платформу данных с простыми в использовании API доступа,модель данных и язык схем высокого уровня, гибкое индексирование в реальном времени и выразительные возможности поиска Apache Solr.Лучше всего, Лили с открытым исходным кодом

Answer 2

Эта статья посвящена Map-Reduce и дает несколько примеров реализации принципов извлечения информации с использованием Map-Reduce.
http://labs.google.com/papers/mapreduce.html
Возможно, вы также захотите проверить Apache Lucene, систему поиска информации с открытым исходным кодом, и Apache Solr

Answer 3

@ Yash:

Для Hbase: прочитайте главу по Hbase из Полное руководство .Затем прочитайте Руководство по Apache Hbase .Это поможет вам лучше понять Hbase.

Jmeter может помочь вам отправить несколько запросов на сервер для тестирования.

Nutch являетсяcrawler с открытым исходным кодом на основе hadoop. Solr - это поисковая платформа, которая использует lucene для внутреннего использования.Вы можете заглянуть в них, чтобы понять их дизайн и реализовать приложение для веб-поиска.