Scrapy Не удалось найти ошибку паука

Question

Я пытался заставить простого паука работать со скрапом, но постоянно получаю ошибку:

Could not find spider for domain:stackexchange.com

когда я запускаю код с выражением scrapy-ctl.py crawl stackexchange.com. Паук выглядит следующим образом:

from scrapy.spider import BaseSpider
from __future__ import absolute_import


class StackExchangeSpider(BaseSpider):
    domain_name = "stackexchange.com"
    start_urls = [
        "http://www.stackexchange.com/",
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)

SPIDER = StackExchangeSpider()`

Другой человек опубликовал почти ту же самую проблему несколько месяцев назад, но не сказал, как ее исправили, Паук Scrapy не работает Я следовал за турториалом точно в http://doc.scrapy.org/intro/tutorial.html, и не могу понять, почему он не работает.

Когда я запускаю этот код в затмении, я получаю ошибку

Traceback (most recent call last): File "D:\Python Documents\dmoz\stackexchange\stackexchange\spiders\stackexchange_spider.py", line 1, in <module> from scrapy.spider import BaseSpider ImportError: No module named scrapy.spider

Я не могу понять, почему он не находит базовый модуль Spider. Мой паук должен быть сохранен в каталоге скриптов?

Answer 1

попробуйте запустить python yourproject/spiders/domain.py, чтобы увидеть, есть ли какая-либо синтаксическая ошибка.Я не думаю, что вы должны включить абсолютный импорт, поскольку скрап зависит от импорта родственников.