Очистка веб-страницы в Python не может найти текст

Question

Я пытаюсь очистить эту веб-страницу , используя BeautifulSoup в Canopy 1.6.1. То, что я хочу иметь возможность вернуть, это рейтинг "College Dominator", а также рейтинг "Breakout Age". Я думаю, что причина этого не в том, что он стоит за Javascript, но я не знаю, как найти эту информацию из собранных данных. Пожалуйста, помогите!

Answer 1

Предоставленная вами страница отображается в браузере с помощью JavaScript (Angular). Фактический отправленный HTML не включает информацию о "College Dominator". Таким образом, вам нужно будет отрендерить его, прежде чем вы сможете его проанализировать, я бы порекомендовал использовать библиотеку, более подходящую для анализа отрендеренных страниц на стороне клиента. Requests-HTML является одним из таких вариантов. С этой библиотекой вы можете достичь своих результатов, как это:

r = session.get("https://www.playerprofiler.com/nfl/larry-fitzgerald/")
r.html.render()
college_dominator = r.html.search("College Dominator {percentage}% ({rank}th)")
# {"rank": 96, "percentage": 51.3}