Scrapy не обеспечивает вывод с помощью селектора xpath - PullRequest
Новая
       69

Scrapy не обеспечивает вывод с помощью селектора xpath

0 голосов
/ 01 мая 2020

Это код, который я пытаюсь запустить в scrapy shell, чтобы получить заголовок статьи от dailymail.co.uk. 

headline = response.xpath("//div[@id='js-article-text']/h2/text()").extract()

$ scrapy shell "https://www.dailymail.co.uk/tvshowbiz/article-8257569/Shia-LaBeouf-revealed-heavily-tattoo-torso-goes-shirtless-run-hot-pink-shorts.html"

1 Ответ

0 голосов
/ 01 мая 2020

Настройте user-agent по вашему запросу, и он должен работать: 

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0" "https://www.dailymail.co.uk/tvshowbiz/article-8257569/Shia-LaBeouf-revealed-heavily-tattoo-torso-goes-shirtless-run-hot-pink-shorts.html"
response.xpath("//div[@id='js-article-text']/h2/text()").extract()

Вывод: 

Shia LaBeouf reveals his heavily tattoo torso as he goes shirtless for a run in hot pink shorts
...