scrapy get builtins.KeyError: -2 - PullRequest
       4

scrapy get builtins.KeyError: -2

0 голосов
/ 20 января 2020

Во время сканирования я иногда получаю эту ошибку builtins.KeyError: -2

Но что это значит? Я ничего не могу найти в scrapy

Вот полный журнал об этом

2020-01-20 13:28:08 [twisted] CRITICAL: Unhandled Error
Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/scrapy/commands/crawl.py", line 58, in run
    self.crawler_process.start()
  File "/usr/local/lib/python3.5/dist-packages/scrapy/crawler.py", line 309, in start
    reactor.run(installSignalHandlers=False)  # blocking call
  File "/usr/local/lib/python3.5/dist-packages/twisted/internet/base.py", line 1283, in run
    self.mainLoop()
  File "/usr/local/lib/python3.5/dist-packages/twisted/internet/base.py", line 1292, in mainLoop
    self.runUntilCurrent()
--- <exception caught here> ---
  File "/usr/local/lib/python3.5/dist-packages/twisted/internet/base.py", line 913, in runUntilCurrent
    call.func(*call.args, **call.kw)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/utils/reactor.py", line 41, in __call__
    return self._func(*self._a, **self._kw)
  File "/usr/local/lib/python3.5/dist-packages/scrapy/core/engine.py", line 122, in _next_request
    if not self._next_request_from_scheduler(spider):
  File "/usr/local/lib/python3.5/dist-packages/scrapy/core/engine.py", line 149, in _next_request_from_scheduler
    request = slot.scheduler.next_request()
  File "/usr/local/lib/python3.5/dist-packages/scrapy/core/scheduler.py", line 108, in next_request
    request = self._dqpop()
  File "/usr/local/lib/python3.5/dist-packages/scrapy/core/scheduler.py", line 142, in _dqpop
    return self.dqs.pop()
  File "/usr/local/lib/python3.5/dist-packages/scrapy/pqueues.py", line 113, in pop
    request = super(ScrapyPriorityQueue, self).pop()
  File "/usr/local/lib/python3.5/dist-packages/queuelib/pqueue.py", line 42, in pop
    q = self.queues[self.curprio]
builtins.KeyError: -2

но что это такое и как это исправить?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...