Могу ли я выполнить scrapy (python) обход за пределами проекта dir? - PullRequest
Новая
       11

Могу ли я выполнить scrapy (python) обход за пределами проекта dir?

1 голос
/ 02 марта 2012

В документах говорится, что я могу выполнить только команду обхода внутри dir проекта: 

scrapy crawl tutor -o items.json -t json

, но мне действительно нужно выполнить ее в моем коде python (файл python находится не внутри директории текущего проекта)

Есть ли какой-нибудь подход, отвечающий моим требованиям?

Дерево моего проекта: 

.
├── etao
│   ├── etao
│   │   ├── __init__.py
│   │   ├── items.py
│   │   ├── pipelines.py
│   │   ├── settings.py
│   │   └── spiders
│   │       ├── __init__.py
│   │       ├── etao_spider.py
│   ├── items.json
│   ├── scrapy.cfg
│   └── start.py
└── start.py    <-------------- I want to execute the script here.

Любой, вот мой код, следующий по этой ссылке , но это не такработа: 

#!/usr/bin/env python
import os
#Must be at the top before other imports
os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'project.settings')

from scrapy import project
from scrapy.conf import settings
from scrapy.crawler import CrawlerProcess

class CrawlerScript():

  def __init__(self):
    self.crawler = CrawlerProcess(settings)
    if not hasattr(project, 'crawler'):
      self.crawler.install()
    self.crawler.configure()

  def crawl(self, spider_name):
    spider = self.crawler.spiders.create(spider_name)   <--- line 19
    if spider:
      self.crawler.queue.append_spider(spider)
    self.crawler.start()
    self.crawler.stop()


# main
if __name__ == '__main__':
  crawler = CrawlerScript()
  crawler.crawl('etao')

ошибка: 

line 19: KeyError: 'Spider not found: etao'

1 Ответ

3 голосов
/ 02 марта 2012

Вы действительно можете позвонить crawlprocess себе ...

это что-то вроде 

from scrapy.crawler import CrawlerProcess
from scrapy.conf import settings


settings.overrides.update({}) # your settings

crawlerProcess = CrawlerProcess(settings)
crawlerProcess.install()
crawlerProcess.configure()

crawlerProcess.crawl(spider) # your spider here

Кредиты @ warwaruk.

...