Оболочка Scrapy не работает на https://www.target.com.au/

Question

Я проверил, что моя оболочка работает на других сайтах, но отказывается работать на цели.

raise self.value.with_traceback(self.tb)
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>]

Answer 1

Похоже, что сайт игнорирует запросы на основе строки вашего пользовательского агента.

Это работает:

scrapy shell target.com.au --nolog --set=USER_AGENT=Mozilla