AUTOTHROTTLE переопределяет DOWNLOAD_DELAY?

Question

Документация Scrapy для AUTOTHROTTLE гласит: «Расширение AutoThrottle регулирует задержки загрузки». В документации в разделе Алгоритм регулирования далее указывается, что «задержка загрузки не может быть меньше DOWNLOAD_DELAY или больше AUTOTHROTTLE_MAX_DELAY», поэтому я предполагаю, что они могут использоваться совместно друг с другом.

Мне интересно, переопределяет ли AUTOTHROTTLE DOWNLOAD_DELAY, если значения составные, и / или эти две настройки можно использовать вместе друг с другом? Определенно, в чем дело?

Answer 1

Расширение AutoThrottle соответствует стандартным настройкам Scrapy для параллелизм и задержка. Это означает, что это будет уважать CONCURRENT_REQUESTS_PER_DOMAIN и CONCURRENT_REQUESTS_PER_IP опции и никогда не устанавливайте задержку загрузки ниже DOWNLOAD_DELAY.

Я нашел это примечание в документации и могу решить ваш вопрос.