scrapy: у объекта "YourSpider" нет атрибута "сканер" - PullRequest
Новая
       11

scrapy: у объекта "YourSpider" нет атрибута "сканер"

0 голосов
/ 23 мая 2018

Я создаю простой сканер для проекта, и у меня есть эта ошибка в моем коде.это работает в любом случае, но я хотел бы понять и разобраться.Мой паук выглядит так: 

class BookSpider(scrapy.Spider):

name = "books"

@classmethod
def from_crawler(cls, crawler):
    return cls(crawler.stats)

def __init__(self, stats):
    self.stats = stats
    self.visited_pages = []

И сообщение об ошибке выглядит так: 

2018-05-23 17:00:50 [scrapy.dupefilters] DEBUG: Filtered duplicate request: <GET https://www.goodreads.com/book/show/35036409-my-brilliant-friend> - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)
2018-05-23 17:00:50 [scrapy.core.scraper] ERROR: Spider error processing <GET https://www.goodreads.com/book/show/17465515-the-story-of-a-new-name> (referer: https://www.goodreads.com/book/show/35036409-my-brilliant-friend)
Traceback (most recent call last):
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/scrapy/utils/defer.py", line 102, in iter_errback
yield next(it)
GeneratorExit
Unhandled error in Deferred:
2018-05-23 17:00:50 [twisted] CRITICAL: Unhandled error in Deferred:

2018-05-23 17:00:50 [twisted] CRITICAL: 
Traceback (most recent call last):
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/twisted/internet/task.py", line 517, in _oneWorkUnit
result = next(self._iterator)
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/scrapy/utils/defer.py", line 63, in <genexpr>
work = (callable(elem, *args, **named) for elem in iterable)
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/scrapy/core/scraper.py", line 183, in _process_spidermw_output
self.crawler.engine.crawl(request=output, spider=spider)
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/scrapy/core/engine.py", line 210, in crawl
self.schedule(request, spider)
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/scrapy/core/engine.py", line 216, in schedule
if not self.slot.scheduler.enqueue_request(request):
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/scrapy/core/scheduler.py", line 55, in enqueue_request
self.df.log(request, self.spider)
  File "/home/m17/elefano/miniconda3/lib/python3.6/site-packages/scrapy/dupefilters.py", line 73, in log
spider.crawler.stats.inc_value('dupefilter/filtered', spider=spider)
AttributeError: 'BookSpider' object has no attribute 'crawler'

У меня есть смутное представление о том, что это проблема с инициализацией, но я не могу понять,что с ним не так.

1 Ответ

0 голосов
/ 09 октября 2018

Не думаю, что ваш паук правильно унаследовал от класса сканера.Когда я столкнулся с этой ошибкой, я смог ее решить, добавив вызов super () в методе from_crawler (), который добавляет атрибуты / методы сканера в ваш пользовательский паук

Вот пример этого (см. метод from_crawler): 

from scrapy import signals
from scrapy import Spider


class DmozSpider(Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/",
    ]


    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(DmozSpider, cls).from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
        return spider


    def spider_closed(self, spider):
        spider.logger.info('Spider closed: %s', spider.name)


    def parse(self, response):
        pass

Источник: https://doc.scrapy.org/en/latest/topics/signals.html

...