ScrapyDeprecationWarning: модуль `scrapy.conf` устарел, вместо него используйте атрибут` crawler.settings`

Question

Я использую scrapy 1.5 и программно пытаюсь запустить процесс сканирования в скрипте python.Как часть этого, мне нужно импортировать настройки сканера и переопределить некоторые из его параметров.

Я обнаружил, что этот оператор импорта делает то, что мне нужно:

from scrapy.conf import settings

Проблема в том, что это работает, но также выдает следующее предупреждение об устаревании:

ScrapyDeprecationWarning: Module `scrapy.conf` is deprecated, use `crawler.settings` attribute instead

ТакЯ предполагаю, что это для какой-то старой версии.После предупреждения я попытался получить доступ к scrapy.crawler.settings, но его не существует (или я не смог найти его после некоторого поиска).

Как мне разрешить это предупреждение?

Answer 1

Это упоминается только мимоходом, но я нашел правильный способ сделать это в официальной документации .

. Вы можете использовать get_project_settings, чтобы получить экземпляр Settings снастройки проекта:

from scrapy.utils.project import get_project_settings
SETTINGS = get_project_settings() 

SETTINGS
# {'AJAXCRAWL_ENABLED': False, 'AUTOTHROTTLE_DEBUG': False, ...'USER_AGENT': 'Scrapy/1.5.0 (+https://scrapy.org)'}

Затем вы можете изменить это по мере необходимости, прежде чем передать его в CrawlerProcess.