После обновления нашего сканера с StormCrawler 1.8 до 1.14 мы заметили, что тип ответа для наших...

Я новичок в мире сканеров и Java, поэтому, пожалуйста, укажите прямо. Я успешно ввел свои целевые...

У меня есть многочисленные URL-адреса (около 40 000), которые нужно сканировать с помощью...

Я пытаюсь следовать учебному пособию v 1.2.3 для Apache Storm. Пытаюсь получить пример...

Я пытаюсь сканировать некоторые веб-сайты, которым требуется взаимодействие с JavaScript для...

Какую версию Apache Storm я должен установить, чтобы использовать последнюю версию StormCrawler?...

Мне нужно получить outerHTML всех элементов на веб-страницах и сохранить их в поле в SOLR.Если я...

Я ненавижу монополизировать этот форум, но в начале много вопросов ... Нормально ли для JSoup...

Я начал с топологии по умолчанию, но хочу выполнить рекурсивный обход.Поэтому мне нужно изменить...

У меня есть топология Stormcrawler (слегка измененная по сравнению с сгенерированной), которая...

В процессе сканирования Stormcrawler добавляет поле в индекс состояния с именем metadata.depth. Я...

ОБНОВЛЕНИЕ: я понял это. вижу дно ... но не стесняйся поправлять меня, если я что-то пропустил ......

У нас была странная проблема с Stormcrawler 1.13. На некоторых (но не на всех) наших сайтах у нас...

У нас есть много сайтов, которые обновляются, добавляются и удаляются.Мне любопытно, как...

В списке выполненных задач для Stormcrawler 1.14 я вижу как «Обновление до Elasticsearch 7.0.x»,...

Я использую stormcrawler для помещения данных в некоторые индексы Elasticsearch, и у меня есть...

Когда мы ищем результаты сканирования Stormcrawler в индексе Elasticsearch, люди неизбежно...

Наша университетская веб-система насчитывает около 1200 сайтов, включающих пару миллионов страниц....