Scrapy XPath не может извлечь

Question

Я пытаюсь извлечь данные из ссылки , я использовал

scrapy shell "https://www.newegg.com/Product/Product.aspx?Item=06T-0045-00045"

Я получил правильный ответ, но не могу заставить Xpath работать, т.е. получение цены с response.xpath('//li[@class="price-current"]') возвращает пустое, я пробовал также response.xpath('//*[@id="landingpage-price"]/div/div/ul'), но также и пустое. Когда я использую response.xpath('//*[@id="landingpage-price"]'), это работает, но ничего глубже возвращается пустым.

Answer 1

Вам всегда нужно проверять исходный HTML (Ctrl+U).В источнике <meta itemprop='price' content='78.23' />.Так просто:

response.xpath('//meta[@itemprop="price"]/@content').extract_first()

будет работать.