таймаут scrapy не управляет искривленным таймаутом

Question

Я продолжаю получать это, когда я запускаю своего scrapy spider raise TimeoutError("Getting %s took longer than %s seconds." % (url, timeout)) twisted.internet.error.TimeoutError: User timeout caused connection failure: Getting https://www.exampletest.com/test took longer than 190 seconds..

Я установил следующие настройки, но это не помогло

'AUTOTHROTTLE_ENABLED':False,
'DOWNLOAD_TIMEOUT':20,
'RETRY_ENABLED': False,

Как я могу контролировать, если веб-сайт нене отвечайте в течение 30 секунд, чтобы просто пропустить или проигнорировать его.

Answer 1

190 - странное значение по умолчанию, поэтому я продолжу и предположу, что вы используете scrapy-crawlera .

Если это так, знайте, что scrapy-crawleraигнорирует DOWNLOAD_DELAY, поскольку Crawlera требует более высоких значений времени ожидания, поскольку запросы через Crawlera могут занять гораздо больше времени.

Если вы все же хотите уменьшить значение времени ожидания, измените значение CRAWLERA_DOWNLOAD_TIMEOUT вместо.