Существуют ли реализации с открытым исходным кодом Mercator Web Crawler?

Question

Марк Наджорк и Аллан Хейдон написали отличную статью о своем Java, масштабируемом и расширяемом веб-сканере под названием Mercator.

Вот некоторые ресурсы по веб-сканеру Mercator:

• Презентация Mercator (pdf)
• Введение Mercator (pdf)
• Бумага для гусеничных лент Mercator (pdf)
  Первый результат в Google по запросу: «Сканирование веб-содержимого Najork pdf»

Кто-нибудь видел какие-либо реализации сканера (желательно java)?

Обновление:
У меня У меня были проблемы со ссылками, Я собираюсь попытаться получить лучшие ссылки для ссылочных статей. но я думаю, что я их исправилТеперь.

Answer 1

Я нашел пару сканеров Java, которые должны быть довольно близки к Mercator:

• Nutch многопоточный и распространяется.1008 * Heritrix является только многопоточным.

Другие ссылки приветствуются.

Answer 2

• Crawler4j - http://code.google.com/p/crawler4j/
• WebSPHINX - http://www.cs.cmu.edu/~rcm/websphinx/

Answer 3

StormCrawler - это SDK с открытым исходным кодом для создания распределенных веб-искателей с малой задержкой и Apache Storm . Проект находится под лицензией Apache v2 и состоит из набора повторно используемых ресурсов и компонентов, написанных в основном на Java.