прекрасный суп находка не дает результатов

Question

Я пытаюсь webscrap и получить страховые доллары, как указано в html ниже.

Страхование Страхование

Использовал приведенный ниже код, но ничего не получил.Может кто-нибудь помочь?Я довольно новичок в Python ...

import requests

from bs4 import BeautifulSoup

r = requests.get('https://www.kbb.com/ford/escape/2017/s/?vehicleid=415933&intent=buy-new')

html_soup = BeautifulSoup(r.content, 'lxml')

test2 = html_soup.find_all('div',attrs={"class":"col-base-6"})

print(test2)

Answer 1

Не все данные, которые вы видите на странице, на самом деле являются ответом на запрос get на этот URL.Есть много других запросов, которые браузер делает в фоновом режиме, которые инициируются кодом javascript.

В частности, запрос данных страхования выполняется по этому URL:

https://www.kbb.com/vehicles/hub/_costtoown/?vehicleid=415933

Вот рабочий код для того, что вам нужно:

import requests
from bs4 import BeautifulSoup

r = requests.get('https://www.kbb.com/vehicles/hub/_costtoown/?vehicleid=415933')

html_soup = BeautifulSoup(r.text, 'html.parser')

Insurance = html_soup.find('div',string="Insurance").find_next().text

print(Insurance)