Как заполнить URL-адреса в виде текстового файла в StormCrawler? - PullRequest
Новая
       51

Как заполнить URL-адреса в виде текстового файла в StormCrawler?

0 голосов
/ 09 ноября 2019

У меня есть многочисленные URL-адреса (около 40 000), которые нужно сканировать с помощью StormCrawler. Есть ли способ передать эти URL-адреса в виде текстового файла вместо списка в crawler.flux ? Как то так: 

spouts:
  - id: "spout"
    className: "com.digitalpebble.stormcrawler.spout.MemorySpout"
    parallelism: 1
    constructorArgs:
      - "URLs.txt"

Ответы [ 3 ]

1 голос
/ 11 ноября 2019

Для этой цели есть FileSpout . Он используется в топологиях, упомянутых @ sebastian-nagel, и вы также можете использовать их в своей, см., Например, эту топологию .

1 голос
/ 10 ноября 2019

Для Solr и Elasticsearch есть инжекторы, которые читают URL-адреса из файла и добавляют их как элементы DISCOVERED в индекс состояния. Конечно, требуется, чтобы Solr или Elasticsearch использовались для хранения индекса состояния. Инжектор запускается как топология, например. 

storm ... com.digitalpebble.stormcrawler.elasticsearch.ESSeedInjector .../seeds '*' -conf ...
0 голосов
/ 16 ноября 2019

Основываясь на ответе @ Julien Nioche , я написал crawler.flux , который делает то, что я хотел. Это файл: 

name: "crawler"

includes:
    - resource: true
      file: "/crawler-default.yaml"
      override: false

    - resource: false
      file: "crawler-conf.yaml"
      override: true

    - resource: false
      file: "solr-conf.yaml"
      override: true



spouts:

  - id: "spout"
    className: "com.digitalpebble.stormcrawler.solr.persistence.SolrSpout"
    parallelism: 1

  - id: "filespout"
    className: "com.digitalpebble.stormcrawler.spout.FileSpout"
    parallelism: 1
    constructorArgs:
      - "."
      - "seeds"
      - true

bolts:
  - id: "partitioner"
    className: "com.digitalpebble.stormcrawler.bolt.URLPartitionerBolt"
    parallelism: 1
  - id: "fetcher"
    className: "com.digitalpebble.stormcrawler.bolt.FetcherBolt"
    parallelism: 1
  - id: "sitemap"
    className: "com.digitalpebble.stormcrawler.bolt.SiteMapParserBolt"
    parallelism: 1
  - id: "parse"
    className: "com.digitalpebble.stormcrawler.bolt.JSoupParserBolt"
    parallelism: 5
  - id: "index"
    className: "com.digitalpebble.stormcrawler.solr.bolt.IndexerBolt"
    parallelism: 1
  - id: "status"
    className: "com.digitalpebble.stormcrawler.solr.persistence.StatusUpdaterBolt"
    parallelism: 1

streams:
  - from: "spout"
    to: "partitioner"
    grouping:
      type: SHUFFLE

  - from: "partitioner"
    to: "fetcher"
    grouping:
      type: FIELDS
      args: ["key"]

  - from: "fetcher"
    to: "sitemap"
    grouping:
      type: LOCAL_OR_SHUFFLE

  - from: "sitemap"
    to: "parse"
    grouping:
      type: LOCAL_OR_SHUFFLE

  - from: "parse"
    to: "index"
    grouping:
      type: LOCAL_OR_SHUFFLE

  - from: "fetcher"
    to: "status"
    grouping:
      type: FIELDS
      args: ["url"]
      streamId: "status"

  - from: "sitemap"
    to: "status"
    grouping:
      type: FIELDS
      args: ["url"]
      streamId: "status"

  - from: "parse"
    to: "status"
    grouping:
      type: FIELDS
      args: ["url"]
      streamId: "status"

  - from: "index"
    to: "status"
    grouping:
      type: FIELDS
      args: ["url"]
      streamId: "status"


  - from: "filespout"
    to: "status"
    grouping:
      streamId: "status"
      type: CUSTOM
      customClass:
        className: "com.digitalpebble.stormcrawler.util.URLStreamGrouping"
        constructorArgs:
          - "byDomain"

Вместо "." вы можете указать каталог, в котором находится файл URL, и вместо "seed" Вы можете указать имя файла URL-адреса.

...