Как использовать быстрые URL-фильтры в StormCrawler?

Question

Я наткнулся на фильтры быстрого URL.он дает несколько вариантов, таких как применение фильтров к конкретному домену. Может ли кто-нибудь рассказать подробнее об его использовании и о том, как настроить его в url filters.json?

Answer 1

Фильтр можно настроить в urlfilters.json , как и любой другой фильтр, т. Е.

 {
  "class": "com.digitalpebble.stormcrawler.filtering.regex.FastURLFilter",
  "name": "FastURLFilter",
  "params": {
    "file": "fast.urlfilter.json"
  }
}

Параметр file является необязательным и по умолчанию принимает значение, указанное выше.

Подробнее см. JAVADOC , БЛОГ и WIKI .