Webcrawler не работает в RapidMiner 9.2, есть идеи, почему? - PullRequest
Новая
       28

Webcrawler не работает в RapidMiner 9.2, есть идеи, почему?

0 голосов
/ 07 марта 2019

Я новичок в Rapid Miner специально для Webcrawler (Crawl Web).Я изучил примеры из существующего поста на любом форуме, но кажется, что Web Crawler в Rapid Miner 9.2 не работает должным образом, поскольку он дает пустой результат на моей машине.Это один из примеров, 

<?xml version="1.0" encoding="UTF-8"?><process version="9.2.000">
  <context>
    <input/>
    <output/>
    <macros/>
  </context>
  <operator activated="true" class="process" compatibility="9.2.000" expanded="true" name="Process">
    <parameter key="logverbosity" value="init"/>
    <parameter key="random_seed" value="2001"/>
    <parameter key="send_mail" value="never"/>
    <parameter key="notification_email" value=""/>
    <parameter key="process_duration_for_mail" value="30"/>
    <parameter key="encoding" value="SYSTEM"/>
    <process expanded="true">
      <operator activated="true" class="web:crawl_web_modern" compatibility="9.0.000" expanded="true" height="68" name="Crawl Web X" width="90" x="112" y="85">
        <parameter key="url" value="https://www.dw.com/search/en?searchNavigationId=9097&languageCode=en&origin=gN&item=brexit"/>
        <list key="crawling_rules">
          <parameter key="follow_link_with_matching_url" value=".+search.+"/>
          <parameter key="follow_link_with_matching_url" value=".+news.+"/>
          <parameter key="store_with_matching_url" value=".+brexit.+"/>
        </list>
        <parameter key="max_crawl_depth" value="10"/>
        <parameter key="retrieve_as_html" value="true"/>
        <parameter key="enable_basic_auth" value="false"/>
        <parameter key="add_content_as_attribute" value="false"/>
        <parameter key="write_pages_to_disk" value="true"/>
        <parameter key="include_binary_content" value="false"/>
        <parameter key="output_dir" value="/Users/iqbalakbar/Desktop"/>
        <parameter key="output_file_extension" value="html"/>
        <parameter key="max_pages" value="20"/>
        <parameter key="max_page_size" value="1000"/>
        <parameter key="delay" value="0"/>
        <parameter key="max_concurrent_connections" value="100"/>
        <parameter key="max_connections_per_host" value="50"/>
        <parameter key="user_agent" value="rapidminer-web-mining-extension-crawler"/>
        <parameter key="ignore_robot_exclusion" value="false"/>
      </operator>
      <connect from_op="Crawl Web X" from_port="example set" to_port="result 1"/>
      <portSpacing port="source_input 1" spacing="0"/>
      <portSpacing port="sink_result 1" spacing="0"/>
      <portSpacing port="sink_result 2" spacing="0"/>
    </process>
  </operator>
</process>

Оцените ваши комментарии и отзывы.Спасибо.

Икбал

1 Ответ

0 голосов
/ 19 марта 2019

у оператора сканирования интернета есть некоторые проблемы, взгляните на сообщество RapidMiner, где у других были похожие проблемы [1].

В настоящее время обходной путь заключается в использовании «Get Page» в сочетании с оператором цикла, как описано здесь: [2]

Надеюсь, это поможет.

[1] https://community.rapidminer.com/discussion/55201/web-crawling-of-https-pages-not-working-by-using-crawl-web

[2] https://community.rapidminer.com/discussion/54662/how-can-i-crawl-more-than-one-web-page

...