Как повторить попытку для 404 ссылки, не найденной в scrapy?

Question

Некоторые сайты временно выдают ошибку 404. Но я вставляю в браузер, это работает. Как сказать scrapy повторить попытку 404 ссылок кода состояния 5 раз.

Answer 1

Существует две настройки Scrapy, относящиеся к тому, что вам нужно:

• RETRY_HTTP_CODES : вы должны переопределить значение по умолчанию в вашем проекте, чтобы включить 404
• RETRY_TIMES : просто установите его на 5