Я написал скрипт для Scrapy, который работает под Scrapy Shell, но когда я запускаю его как скрипт с scrapy runspider script.py, возникает следующая ошибка:
2020-01-16 19:10:53 [scrapy.core.scraper] ERROR: Error downloading <GET http://https//shop.palaceskateboards.com/collections/jackets/>
Traceback (most recent call last):
File "/home/alex/.local/lib/python3.6/site-packages/twisted/internet/defer.py", line 1416, in _inlineCallbacks
result = result.throwExceptionIntoGenerator(g)
File "/home/alex/.local/lib/python3.6/site-packages/twisted/python/failure.py", line 512, in throwExceptionIntoGenerator
return g.throw(self.type, self.value, self.tb)
File "/home/alex/.local/lib/python3.6/site-packages/scrapy/core/downloader/middleware.py", line 44, in process_request
defer.returnValue((yield download_func(request=request, spider=spider)))
File "/home/alex/.local/lib/python3.6/site-packages/twisted/internet/defer.py", line 654, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "/home/alex/.local/lib/python3.6/site-packages/twisted/internet/endpoints.py", line 982, in startConnectionAttempts
"no results for hostname lookup: {}".format(self._hostStr)
twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: https.
Если я пробую его как Scrapy Shell, это работает. Если я попробую это как Scrapy Shell, это сработает. На других сайтах эта ошибка также возникает, когда я пробую ее как скрипт. Я использую Scrapy в Python3.