Scrapy 403 по неизвестной причине, scrap висит в оболочке

Question

Я использую scrapy 2.1.0, пытаясь очистить этот URL: https://www.livingsocial.com/deals/kenny-s-ribs-and-dusty-s-buffet-1

Но я получаю ошибку:

 DEBUG: Crawled (403) <GET https://www.livingsocial.com/deals/kenny-s-ribs-and-dusty-s-buffet-1> (referer: https://www.livingsocial.com/local/chicago/restaurants) ['partial']

, также выполняю команду:

scrapy shell https://www.livingsocial.com/deals/kenny-s-ribs-and-dusty-s-buffet-1

не работает и зависает:

 INFO: Spider opened

как его отладить? чтобы увидеть, что является причиной? спасибо!

Answer 1

ах мне нужно было просто установить USER_AGENT для решения проблемы