как сканировать определенный URL с помощью NUTCH 1,2 - PullRequest
Новая
       33

как сканировать определенный URL с помощью NUTCH 1,2

0 голосов
/ 12 августа 2011

Я использую NUTCH-1.2, но не могу ограничить мой конфигурационный файл для сканирования только с учетом URL
мой файл crawl-urlfilter.txt 

    # Each non-comment, non-blank line contains a regular expression
    # prefixed by '+' or '-'. The first matching pattern in the file
    # determines whether a URL is included or ignored. If no pattern
    # matches, the URL is ignored.

    # skip file:, ftp:, & mailto: urls
    -^(file|ftp|mailto):

    # skip image and other suffixes we can't yet parse
    -\.(gif|GIF|js|jpg|JPG|png|PNG|ico|ICO|css|sit|eps|wmf|zip|ppt|mpg|xls|gz|rpm|tgz|mov|MOV|exe|jpeg|JPEG|bmp|BMP)$

    # skip URLs containing certain characters as probable queries, etc.
    -[?*!@=]

    # skip URLs with slash-delimited segment that repeats 3+ times, to break loops
    -.*(/[^/]+)/[^/]+\1/[^/]+\1/

 # accept hosts in MY.DOMAIN.NAME
    -.*
    +^http://([a-z0-9]*\.)abc.com/[0-9].*[a-z]*.html$
    -^http://([a-z0-9]*\.)*abc.com/[-a-z/]*/$
    -^http://([a-z0-9]*\.)*abc.com/[-a-z]*.php$

Спасибо

1 Ответ

1 голос
/ 12 августа 2011

Я думал, что где-то читал, что этот конфиг оценивается сверху вниз.

А так как 

-.

соответствует всему - Nutch будет игнорировать дальнейшие записи. Мой crawl-urlfilter.txt выглядит примерно так внизу (именно в таком порядке) и работает довольно хорошо: 

# accept hosts in MY.DOMAIN.NAME
+^http://localhost:8080/

# skip everything else
-.
...