Stormcrawler: добавление нового URL для обхода без перезапуска топологии

Question

Есть ли способ добавить новый URL для сканирования, не останавливая топологию из командной строки и не редактируя нужные файлы?Я хочу сделать это с Elasticsearch в качестве индексатора

Answer 1

Это зависит от того, что вы используете в качестве бэкэнда для хранения статуса URL.Если URL-адреса хранятся в Elasticsearch в индексе status , вам не нужно перезапускать топологию сканирования.Вы можете использовать топологию инжектора отдельно в локальном режиме, чтобы добавить новые URL-адреса в индекс состояния.

Это также относится к модулям SOLR или SQL, но не к MemorySpout + MemoryStatusUpdater, так как он находится в JVM ибольше нигде.

Какой носик вы используете?