Как веб-лом с запросом Bs4, когда есть скрипт?

Question

Я пытаюсь получить некоторые данные с этого сайта:

http://www.espn.com.br/futebol/resultados/_/liga/BRA.1/data/20181018

Когда я проверяю страницу в своем браузере, я вижу все необходимые мне значения в HTML.Я хочу получить результат игры и имена игроков (для каждой даты, в этом примере 2018-10-18)

В отсутствие игровых дней веб-сайт показывает:

"Sem jogos nesta data", который легко найти при просмотре в браузере:

Но при использовании

url = 'http://www.espn.com.br/futebol/resultados/_/liga/todos/data/20181018'
page = requests.get(url, "lxml")

Вывод - это в основном веб-сайт, где я не могунайдите фразу «Sem jogos nesta data»

Как мне получить HTML, содержащий результаты скрипта?Возможно ли это с запросом?URLLIB

Answer 1

Похоже, что данные, которые вы ищете, получены из их внутреннего API.Я бы использовал selenium-python пакет вместо requests.

Вот пример:

driver = webdriver.Firefox()
driver.get("http://www.espn.com.br/futebol/resultados/_/liga/todos/data/20181018")
value = driver.find_elements(By.XPATH, '//*[@id="events"]/div')
drive.close()

Я не проверял код, но он должен работать