Вы сказали he script runs but returns nothing whilst parsing for balancedheadlines
, но пытаетесь найти balancedheader
.На вашем сайте нет сбалансированного заголовка. Вы можете увидеть все теги h2, например:
h2_tags = soup.findAll('h2')
for allh2 in h2_tags:
print allh2
Выше кода вернет все теги h2
на вашем сайте.
Я думаю, вы пытаетесьполучить заголовок в balancedHeadline
и его в Javascript
, поэтому вам нужно использовать Selenium
:
from selenium import webdriver
options = webdriver.ChromeOptions()
driver=webdriver.Chrome(chrome_options=options, executable_path=r'your driver path')
driver.get('https://www.nytimes.com/2019/02/24/world/europe/pope-vatican-sexual-abuse.html')
x = driver.find_elements_by_css_selector("span[class='balancedHeadline']")
for title in x:
print title.text
driver.close()
ВЫХОД:
Pope Francis Ends Landmark Meeting by Calling for ‘All-Out Battle’ to Fight Sexual Abuse