Scrapy - отсутствует тело HTML

Question

При использовании scrapy некоторые веб-сайты не предоставляют полный HTML-код, т.е.https://www.amazon.de/Warner-Bros-5051891109537-GIOCO-MOVIE/dp/B00HR6RHBK

Я пытаюсь получить ссылку на все списки предложений (https://www.amazon.de/gp/offer-listing/B00HR6RHBK/ref=dp_olp_new?ie=UTF8&condition=new)

Scrapy просто не может ее найти.

Пытается:

$ scrapy shell "https://www.amazon.de/Warner-Bros-5051891109537-GIOCO-MOVIE/dp/B00HR6RHBK"

print (response.xpath (" // a [содержит (@href, 'new')] / @ href "))

Результат:

[]

Answer 1

Эта ссылка не существует в источнике страницы. Так что Scrapy не может его найти. Попробуйте найти / gp / offer-list / B00HR6RHBK / ref = dp_olp_all_mbc? Ie = UTF8 & condition = all и посмотреть, сможете ли вы найти эту ссылку