Следуйте по ссылкам перенаправления в scrapy

Question

Как я могу установить это?я написал handle_httpstatus_list = [301, 302, 303], но scrapy не следует новым ссылкам, он только начал сохранять пустые файлы страниц.

PS Английский не мой родной язык.Извините меня за это.

Answer 1

Scrapy обрабатывает перенаправления по умолчанию, это означает, что RedirectMiddleware активируется в настройке DOWNLOADER_MIDDLEWARES, а для настройки REDIRECT_ENABLED установлено значение True.

Answer 2

Вам также нужно будет указать dont_redirect = true в своем запросе как:

meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}

Привет