У меня есть папка testmultiple, которая содержит файл __init__.py
, конвейеры, настройки и файл core.py
, который я использую для запуска нескольких пауков, расположенных в подпапке (spiders). Я заметил, что мне пришлось импортировать настройки, чтобы использовать конвейер с CrawlerProcess
. Вот мой код:
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.settings import Settings
import settings as my_settings
from spiders.DemoSpider import DemoSpider
from spiders.DemoSpider2 import DemoSpider2
crawler_settings = Settings()
crawler_settings.setmodule(my_settings)
process = CrawlerProcess(settings=crawler_settings)
process.crawl(DemoSpider)
process.crawl(DemoSpider2)
process.start() # the script will block here until the crawling is finished
Но на 4-й строке ничего не получается. С этой попытки у меня есть:
ModuleNotFoundError: No module named 'testmultiple'
Когда я пытаюсь:
from testmultiple.settings import settings as my_settings
У меня такая же ошибка, как и с этой строкой:
from testmultiple import settings as my_settings
Как импортировать settings.py
?