Scrapy - рендеринг JavaScript

Question

Я хотел бы получить некоторые данные здесь:

https://www.drivy.com/location-voiture/liege/mitsubishi-colt-359699?address=Gare+de+Li%C3%A8ge-Guillemins&city_display_name=&country_scope=BE&distance=200&end_date=2019-05-27&end_time=06%3A00&latitude=50.6251&longitude=5.5659&start_date=2019-05-26&start_time=06%3A00

Я ищу идентификатор владельца автомобиля.Этот идентификатор находится в атрибуте a класса car_owner_section.Для страницы выше это числа в атрибуте href, например, "/ users / 1228276".Проблема в том, что эта ссылка, по-видимому, предоставлена ​​javascript, и я абсолютно хочу избежать всплеска скрапа.У кого-нибудь есть идеи как найти этот идентификатор?Наверное, это должно быть где-то в JSON, но я искал несколько дней и ничего не нашел.

Answer 1

Я проверил его на Scrapy Shell, и ответ возвращает ссылку, которую вы ищете, без использования всплеска.Вы можете проверить свои настройки.

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False