Scrapy: повторный запрос на код статуса 440

Question

Есть ли в скрапе способ повторения запроса, если код статуса ответа 440?

Иногда сервер, который я пытаюсь очистить, отвечает кодом 440, и я не могу очистить данные.

Большое спасибо!

Answer 1

На основе документации по скрапингу вы можете добавить и настроить RetryMiddleware так, как вам хочется.

Настройки, которые вы хотите изменить: RETRY_TIMES и RETRY_HTTP_CODES. Особенно второй, где по умолчанию: [500, 502, 503, 504, 408], так что вам просто нужно добавить 440 в список.

Проверьте более подробную информацию о промежуточном программном обеспечении здесь