Импорт settings.py Scrapy - PullRequest
       12

Импорт settings.py Scrapy

0 голосов
/ 05 ноября 2018

У меня есть папка testmultiple, которая содержит файл __init__.py, конвейеры, настройки и файл core.py, который я использую для запуска нескольких пауков, расположенных в подпапке (spiders). Я заметил, что мне пришлось импортировать настройки, чтобы использовать конвейер с CrawlerProcess. Вот мой код:

import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.settings import Settings
import settings as my_settings
from spiders.DemoSpider import DemoSpider
from spiders.DemoSpider2 import DemoSpider2


crawler_settings = Settings()
crawler_settings.setmodule(my_settings)
process = CrawlerProcess(settings=crawler_settings)

process.crawl(DemoSpider)
process.crawl(DemoSpider2)
process.start() # the script will block here until the crawling is finished

Но на 4-й строке ничего не получается. С этой попытки у меня есть:

ModuleNotFoundError: No module named 'testmultiple'

Когда я пытаюсь:

from testmultiple.settings import settings as my_settings

У меня такая же ошибка, как и с этой строкой:

from testmultiple import settings as my_settings

Как импортировать settings.py?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...