Xpath не возвращает ТЕКСТ из тегов <p>в Scrapy Shell

Question

Ссылка: https://www.softwareadvice.com/hr/zenefits-profile

Я пытаюсь очистить описание из приведенной выше ссылки. XPath кажется правильным, но он не возвращает мне значение в scrapy shell. (См. Снимок экрана ниже). Я пробовал все методы, такие как get(), getall(), extract(), extract_first(), extractall(), но получаю список пустых мест. Пожалуйста, помогите мне определить ошибку. Спасибо ...

Нажмите, чтобы увидеть изображение (XPath)

Нажмите, чтобы увидеть изображение (Scrapy Shell)

Answer 1

Если вы отключите JS, вы не обнаружите, что XPATH работает.

Вот как Scrapy загружает HTML, он загружает только HTML и не выполняет никаких JS / AJAX

Попробуйте этот XPATH

response.xpath("/html/body/app-root/main/app-product/div[1]/app-product-detail/div[2]/div/div[1]/div/div/p//text()").getall()