Scrapy Twisted Failure, где работает запрос Postman / Chrome - PullRequest
Новая
       8

Scrapy Twisted Failure, где работает запрос Postman / Chrome

0 голосов
/ 26 ноября 2018

Я использую Scrapy в сочетании с прокси / сервисом рендеринга " scraperapi ".

Когда я запускаю GET-запрос к сервису в Chrome или Postman, как этот (https://api.scraperapi.com? Key = d2debdcfbd1854e4505cd5c7ac74a177 & url = https://www.example.com) все работает нормально, но все запросы в scrapy терпят неудачу с ошибкой ниже.

Это ошибка Scrapy / Twisted или я что-то не так делаю? 

[scrapy.core.scraper] ERROR: Error downloading <GET 
https://api.scraperapi.com?key=d2debdcfbd1854e4505cd5c7ac74a177&url=https://www.example.com>
Traceback (most recent call last):
   File "scrapy\core\downloader\middleware.py", line 43, in process_request defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]
...