Отказано в доступе к Scrapy при сканировании заголовка веб-сайта - PullRequest
Новая
       187

Отказано в доступе к Scrapy при сканировании заголовка веб-сайта

1 голос
/ 14 июля 2020

Я хочу сканировать веб-сайт, но получаю следующую ошибку: 

'<head>\n<title>Access Denied</title>\n</head>'

Я просто пытаюсь в консоли: 

scrapy shell https://www.zara.com/es/en/
response.css("head").get()

введите описание изображения здесь

Что я делаю не так? Имеет отношение к User-Agent? Есть ли на сайте метод защиты от сканирования? Как сканировать этот сайт?

1 Ответ

2 голосов
/ 14 июля 2020

Установите USER_AGENT = 'zara (+http://www.yourdomain.com)' в settings.py. Решает вопрос. Вы также можете установить свой собственный пользовательский агент, если хотите.

...