Scrapy Xpath: извлечение заголовка из узла img

Question

Я хочу извлечь @title из Главных заметок в соответствии с вашими голосами на этой странице: https://www.fragrantica.com/perfume/Remy-Latour/Cigar-9351.html

Я извлек HTML, затем попробовал эту строку кода на scrapy shell, но результат был None:

response.xpath('//*[@id="userMainNotes"]/div/img/@title).extract_first()

Что я делаю не так?

Answer 1

Это будет работать

response.xpath('//span[contains(@id, "note")]/img[@rel]/@title')

Не забудьте установить АГЕНТ ПОЛЬЗОВАТЕЛЯ на ваши settings.py

Crawler Data Form использует веб-сайт Scrapy 1.5.0 - Python

Answer 2

Если вы проверите исходный код (Ctrl+U), вы найдете:

<div title="96:241;171:117;33:103;34:103;41:70;128:63;4:59;182:59;170:58;75:56;191:48;21:39;77:39;14:28" id="userMainNotes">Loading...</div>

это означает, что выше <div> отрисовывается Javascript, поэтому ваш код не работает.