У вас истекает время ожидания при загрузке.
См. СКАЧАТЬ_TIMEOUT
По умолчанию 360 секунд = 6 минут. Отрегулируйте настройку, чтобы сделать ее длиннее.
Согласно документации ваши Настройки
может быть заполнен с использованием различных механизмов, каждый из которых имеет свой приоритет. Вот их список в порядке убывания приоритета:
Параметры командной строки (наибольший приоритет)
Настройки на паука
Модуль настроек проекта
Настройки по умолчанию для каждой команды
Глобальные настройки по умолчанию (меньше приоритета)
Вы не поделились своим кодом, поэтому его сложно определить, но вы либо изменяете настройки для своего паука, либо предоставляете их в качестве параметра командной строки.
scrapy crawl myspider -s DOWNLOAD_TIMEOUT=<some value that benefits you crawling>
Альтернативно вы можете установить их для каждого паука следующим образом:
class MySpider(scrapy.Spider):
name = 'myspider'
custom_settings = {
'DOWNLOAD_TIMEOUT': 'some value',
}
Подробнее см. Руководство по настройке
.