Ограничить горизонтальную глубину (количество ссылок, обнаруженных страницей) в stormcrawler

Question

Я использую stormcrawler, и мне интересно, есть ли возможность ограничить количество ссылок, обнаруженных страницей.Я смотрю что-то вроде db.max.outlinks.per.page в Nutch.Заранее спасибо

Answer 1

Не сейчас, но это может быть легко добавлено к JSoupParserBolt и, возможно, к эквиваленту Тики.Не стесняйтесь, чтобы открыть вопрос на GitHub.