Scrapy Spider не найдена ошибка

Question

Это Windows 7 с python 2.7

У меня есть проект scrapy в каталоге caps (это где scrapy.cfg)

Мой паук находится в caps \ caps \spiders \ campSpider.py

Я вхожу в проект scrapy и пытаюсь запустить

scrapy crawl campSpider -o items.json -t json

Я получаю сообщение об ошибке, что паук не может быть найден.Имя класса равно campSpider

...
    spider = self.crawler.spiders.create(spname, **opts.spargs)
  File "c:\Python27\lib\site-packages\scrapy-0.14.0.2841-py2.7-win32.egg\scrapy\spidermanager.py", l
ine 43, in create
    raise KeyError("Spider not found: %s" % spider_name)
KeyError: 'Spider not found: campSpider'

Не указан ли какой-либо элемент конфигурации?

Answer 1

Атрибут Name в классе CrawlSpider определяет имя паука, и это имя используется в командной строке для вызова паука для работы.

import json

from scrapy import Spider
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.linkextractor import LinkExtractor

class NameSpider(CrawlSpider):
    name = 'name of spider'
    allowed_domains = ['allowed domains of web portal to be scrapped']
    start_urls = ['start url of of web portal to be scrapped']

    custom_settings = {
        'DOWNLOAD_DELAY': 1,
        'USER_AGENT': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
    }

    product_css = ['.main-menu']
    rules = [
        Rule(LinkExtractor(restrict_css=product_css), callback='parse'),
    ]

    def parse(self, response):
        //implementation of business logic

Answer 2

Проверьте отступ тоже, класс для моего паука был с отступом на одну вкладку.Каким-то образом это делает класс недействительным или что-то.