Как отфильтровать данные stromcrawler из elasticsearch - PullRequest
Новая
       117

Как отфильтровать данные stromcrawler из elasticsearch

1 голос
/ 16 июня 2020

Я использую apache -storm 1.2.3 и elasticsearch 7.5.0. Я успешно извлек данные с новостного сайта 3k и визуализировал на Grafana и kibana. Я получаю много мусора (например, рекламы) в контенте. Я прикрепил SS of CONTENT. content Кто-нибудь может предложить мне, как я могу их отфильтровать. Я думал передать html контент из ES в какой-нибудь python package.am. Я на правильном пути, если нет, пожалуйста, предложите мне хорошее решение. Заранее благодарим.

это файл crawler-conf.yaml 

config:
  topology.workers: 1
  topology.message.timeout.secs: 300
  topology.max.spout.pending: 100
  topology.debug: false

  fetcher.threads.number: 50

  # override the JVM parameters for the workers
  topology.worker.childopts: "-Xmx2g -Djava.net.preferIPv4Stack=true"

  # mandatory when using Flux
  topology.kryo.register:
    - com.digitalpebble.stormcrawler.Metadata

  # metadata to transfer to the outlinks
  # used by Fetcher for redirections, sitemapparser, etc...
  # these are also persisted for the parent document (see below)
  # metadata.transfer:
  # - customMetadataName

  # lists the metadata to persist to storage
  # these are not transfered to the outlinks
  metadata.persist:
   - _redirTo
    - error.source
   - isSitemap
   - isFeed

  http.agent.name: "Nitesh Singh"
  http.agent.version: "1.0"
  http.agent.description: "built with StormCrawler Elasticsearch Archetype 1.16"
  http.agent.url: "http://someorganization.com/"
  http.agent.email: "nite0sh@gmail.com"

  # The maximum number of bytes for returned HTTP response bodies.
  # The fetched page will be trimmed to 65KB in this case
  # Set -1 to disable the limit.
  http.content.limit: 65536

  # FetcherBolt queue dump => comment out to activate
  # if a file exists on the worker machine with the corresponding port number
  # the FetcherBolt will log the content of its internal queues to the logs
  # fetcherbolt.queue.debug.filepath: "/tmp/fetcher-dump-{port}"

  parsefilters.config.file: "parsefilters.json"
  urlfilters.config.file: "urlfilters.json"

  # revisit a page daily (value in minutes)
  # set it to -1 to never refetch a page
  fetchInterval.default: 1440

  # revisit a page with a fetch error after 2 hours (value in minutes)
  # set it to -1 to never refetch a page
  fetchInterval.fetch.error: 120
fetchInterval.error: -1

  # text extraction for JSoupParserBolt
  textextractor.include.pattern:
   - DIV[id="maincontent"]
   - DIV[itemprop="articleBody"]
   - ARTICLE

  textextractor.exclude.tags:
   - STYLE
   - SCRIPT

  # custom fetch interval to be used when a document has the key/value in its metadata
  # and has been fetched successfully (value in minutes)
  # fetchInterval.FETCH_ERROR.isFeed=true: 30
  # fetchInterval.isFeed=true: 10

  # configuration for the classes extending AbstractIndexerBolt
  # indexer.md.filter: "someKey=aValue"
  indexer.url.fieldname: "url"
  indexer.text.fieldname: "content"
  indexer.canonical.name: "canonical"
  indexer.md.mapping:
  - parse.title=title
  - parse.keywords=keywords
  - parse.description=description
  - domain=domain

  # Metrics consumers:
  topology.metrics.consumer.register:
     - class: "org.apache.storm.metric.LoggingMetricsConsumer"
 parallelism.hint: 1

1 Ответ

0 голосов
/ 16 июня 2020

Вы настраивали экстрактор текста? например, 

  # text extraction for JSoupParserBolt
  textextractor.include.pattern:
   - DIV[id="maincontent"]
   - DIV[itemprop="articleBody"]
   - ARTICLE

  textextractor.exclude.tags:
   - STYLE
   - SCRIPT

Это ограничит текст указанием c элементов, если они найдены, и / или удалит те, которые указаны в исключении.

Большинство новостных сайтов будут использовать какую-либо форму тегов для отметьте основное содержимое.

Пример, который вы дали как элемент , для которого вы можете добавить шаблон.

Существуют различные библиотеки удаления шаблонов, которые вы можете встроить в ParseFilter но их точность сильно различается.

...