запуск штормового сканера в локальном режиме без зависимости от zookeeper, nimbus - PullRequest
0 голосов
/ 12 сентября 2018

Я храню URL-адреса в mysql, а индексированные данные - в lucene. Я запускаю шторм-сканер в качестве сервера приложений на нескольких машинах с использованием tomcat. действительно ли мне нужен Zookeeper, Nimbus и Storm для распределения URL-адресов (из MySQL) между серверами .. ??

1 Ответ

0 голосов
/ 13 сентября 2018

См. FAQ

В: Нужен ли кластер Storm для запуска StormCrawler?

A: Нет. Он может работать в локальном режиме и просто использовать библиотеки Storm в качестве зависимостей. Однако имеет смысл установить Storm в псевдораспределенном режиме, чтобы вы могли использовать его пользовательский интерфейс для мониторинга топологий.

См. Также Запустить StormCrawler в локальном режиме или установить Apache Storm?

...