Python Scrapy не извлекает данные

Question

Полный отказ от ответственности - я не программист. Я пытаюсь получить 12-месячную арендную плату (которая в настоящее время составляет 1 976), просматривая следующую веб-страницу - https://www.essexapartmenthomes.com/apartments/bonita-cedars/floor-plans-and-pricing. Моя проблема в том, что когда я ввожу ниже в свой терминал оболочки, результаты не возвращаются, хотя я ожидаю какую-то информацию. Я думал, что это было бы относительно просто из учебников, которые я смотрел, но этот сайт выглядит по-другому (возможно, более сложным). Я использовал SelectorGadget для проверки правильности выбора CSS. Чего мне не хватает?

scrapy shell "https://www.essexapartmenthomes.com/apartments/bonita-cedars/floor-plans-and-pricing"
response.css('.pricing-list::text').extract()

Answer 1

Это не будет так просто, так как связанная страница сильно зависит от JavaScript. У вас есть два варианта:

• Вы можете использовать механизм рендеринга, например, spla sh, чтобы отобразить JavaScript после загрузки страницы и посмотреть, сможете ли вы извлечь data
• Или вы можете увидеть, какие конечные точки используются сайтом для извлечения данных, которые вы можете получить сами.

В любом случае, это будет не так тривиально, как вы думали и может быть хорошей идеей проконсультироваться с кем-то с опытом.