Почему Scrapy не предоставляет объект ответа?

Question

Я использую Scrapy Shell и использую следующую команду:

scrapy shell https://www.off---white.com/en/DE/men/t/seasons/ss-2020

Нет сообщения об ошибке, но объект ответа имеет тип None, и я понятия не имею, почему. Прошу помощи!

Answer 1

@ Toobi77

Звучит как предотвращение утилизации неизвестными устройствами. Вы должны добавить заголовок к запросу, который вы делаете на этом сайте. Я пытался найти в документации, можно ли добавить заголовок с помощью CLI, но, похоже, это не так.

Просто откройте оболочку scrapy:

scrapy shell

И затем выполните команду запрос вручную:

>>> from scrapy import Request
>>> my_header = {
    'Connection': 'keep-alive',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36',
    # some other here
    }
>>> req = Request('yoururl.com', headers=my_header)
>>> fetch(req)

Это обновит вашу оболочку с текущим запросом.