Scrapy сканировать локальный сайт по IP адресу - PullRequest
Новая
       7

Scrapy сканировать локальный сайт по IP адресу

2 голосов
/ 11 февраля 2012

Я все еще экспериментирую со Scrapy и пытаюсь сканировать веб-сайт в моей локальной сети. Сайт имеет IP-адрес 192.168.0.185. Это мой паук: 

 from scrapy.spider import BaseSpider
 class 192.168.0.185_Spider(BaseSpider):
      name = "192.168.0.185"
      allowed_domains = ["192.168.0.185"]
      start_urls = ["http://192.168.0.185/"]

      def parse(self, response):
          print "Test:", response.headers

И затем в том же каталоге, что и мой паук, я выполняю команду оболочки для запуска паука: 

scrapy crawl 192.168.0.185

И я получаю очень некрасивое, нечитаемое сообщение об ошибке: 

 2012-02-10 20:55:18-0600 [scrapy] INFO: Scrapy 0.14.0 started (bot: tutorial)
 2012-02-10 20:55:18-0600 [scrapy] DEBUG: Enabled extensions: LogStats,   
 TelnetConsole,     CloseSpider, WebService, CoreStats, MemoryUsage, SpiderState
 2012-02-10 20:55:18-0600 [scrapy] DEBUG: Enabled downloader middlewares:      
 HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware,  
 DefaultHeadersMiddleware, RedirectMiddleware, CookiesMiddleware, 
 HttpCompressionMiddleware, ChunkedTransferMiddleware, DownloaderStats
 2012-02-10 20:55:18-0600 [scrapy] DEBUG: Enabled spider middlewares:   
 HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware,  
 DepthMiddleware 2012-02-10 20:55:18-0600 [scrapy] DEBUG: Enabled item pipelines: 
 Traceback (most recent call last): File "/usr/bin/scrapy", line 5, in <module>
 pkg_resources.run_script('Scrapy==0.14.0', 'scrapy')
 File "/usr/lib/python2.6/site-packages/pkg_resources.py", line 467, in run_script
 self.require(requires)[0].run_script(script_name, ns)
 File "/usr/lib/python2.6/site-packages/pkg_resources.py", line 1200, in run_script
 execfile(script_filename, namespace, namespace)
 File "/usr/lib/python2.6/site-packages/Scrapy-0.14.0-py2.6.egg/EGG-INFO/scripts   
 /scrapy", line 4, in <module>
 execute()
 File "/usr/lib/python2.6/site-packages/Scrapy-0.14.0-py2.6.egg/scrapy/cmdline.py",  
 line 132, in execute
 _run_print_help(parser, _run_command, cmd, args, opts)
 File "/usr/lib/python2.6/site-packages/Scrapy-0.14.0-py2.6.egg/scrapy/cmdline.py",   
 line 97, in _run_print_help func(*a, **kw)
 File "/usr/lib/python2.6/site-packages/Scrapy-0.14.0-py2.6.egg/scrapy/cmdline.py",  
 line 139, in _run_command cmd.run(args, opts)
 File "/usr/lib/python2.6/site-packages/Scrapy-0.14.0-py2.6.egg/scrapy/commands   
 /crawl.py", line 43, in run
 spider = self.crawler.spiders.create(spname, **opts.spargs)
 File "/usr/lib/python2.6/site-packages/Scrapy-0.14.0-py2.6.egg/scrapy  
 /spidermanager.py", line 43, in create
 raise KeyError("Spider not found: %s" % spider_name)
 KeyError: 'Spider not found: 192.168.0.185'

Итак, я сделал еще одного паука, который практически не отличается от первого, за исключением того, что он использует доменное имя, а не IP-адрес. Этот работал просто отлично. Кто-нибудь знает, в чем дело? Как я могу заставить Scrapy сканировать веб-сайт по IP-адресу, а не по доменному имени? 

from scrapy.spider import BaseSpider
class facebook_Spider(BaseSpider):
     name = "facebook"
     allowed_domains = ["facebook.com"]
     start_urls = ["http://www.facebook.com/"]


     def parse(self, response):
         print "Test:", response.headers

1 Ответ

9 голосов
/ 11 февраля 2012 
class 192.168.0.185_Spider(BaseSpider):
    ...

Вы не можете использовать имя класса, которое начинается с цифры или содержит точки в Python.Смотрите документацию Идентификаторы и ключевые слова

Вы можете создать этого паука с правильным именем: 

$ scrapy startproject testproj
$ cd testproj
$ scrapy genspider testspider 192.168.0.185
  Created spider 'testspider' using template 'crawl' in module:
    testproj.spiders.testspider

Определение паука будет выглядеть так: 

class TestspiderSpider(CrawlSpider):
    name = 'testspider'
    allowed_domains = ['192.168.0.185']
    start_urls = ['http://www.192.168.0.185/']
    ...

И, вероятно, вы должны удалить www из start_urls.Чтобы начать сканирование, используйте имя паука вместо хоста: 

$ scrapy crawl testspider
...