Пропуск веб-страниц с расширением pdf, zip от сканирования в Anemone - PullRequest
Новая
       32

Пропуск веб-страниц с расширением pdf, zip от сканирования в Anemone

3 голосов
/ 01 декабря 2011

Я занимаюсь разработкой гусеничного робота с использованием гема анемона (Ruby-1.8.7 и Rails 3.1.1). Как мне пропустить сканирование и сканирование веб-страниц с расширениями pdf, doc, zip и т. Д.

1 Ответ

8 голосов
/ 02 декабря 2011 
ext = %w(flv swf png jpg gif asx zip rar tar 7z gz jar js css dtd xsd ico raw mp3 mp4 wav wmv ape aac ac3 wma aiff mpg mpeg avi mov ogg mkv mka asx asf mp2 m1v m3u f4v pdf doc xls ppt pps bin exe rss xml)

Anemone.crawl(url) do |anemone|

    anemone.skip_links_like /\.#{ext.join('|')}$/

    ...

end
...