Я на OSX:
Я установил scrapy-spla sh, используя pip install scrapy splash
, и все прошло хорошо
Я добавляю этот блок кода в мой паук
SPLASH_URL = 'http://localhost:8050'
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
Затем, когда я пытаюсь запустить своего паука, я получаю это сообщение об ошибке:
File "/Library/Frameworks/Python.framework/Versions/3.8/bin/scrapy", line 10, in <module>
sys.exit(execute())
File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/importlib/__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "<frozen importlib._bootstrap>", line 1014, in _gcd_import
File "<frozen importlib._bootstrap>", line 991, in _find_and_load
File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
File "<frozen importlib._bootstrap_external>", line 783, in exec_module
File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
File "/Users/lowesSpider/lowesSpider/spiders/lowes.py", line 4, in <module>
from scrapy_splash import SplashRequest
ModuleNotFoundError: No module named 'scrapy_splash'
Честно говоря, я не слишком уверен, где отсюда go, поэтому любая помощь будет оценена и позволит мне знать, если есть какие-либо разъяснения необходимы!