Можно ли установить разные настройки для разных запросов в одном и том же Scrapy Spider?

Question

Я хочу использовать Crawlera только для некоторых запросов паука Scrapy.Поэтому я хочу установить CRAWLERA_ENABLED по-разному для разных запросов.Возможно ли это?

Answer 1

Вы можете использовать клавишу dont_proxy в meta для тех запросов, которые вы не хотите использовать Crawlera.Например,

# Supposing you have crawlera enabled in `settings.py`
yield scrapy.Request(
    url, 
    meta={"dont_proxy": True}, 
    callback=self.parse
)