Нет возврата при извлечении текста класса span с использованием BeauitfulSoup

Question

Я пытаюсь получить заголовки с первой страницы NY Times (www.nytimes.com). Процесс завершается без печати текста (или чего-либо еще) из функции soup.find_all.

Я поиграл с синтаксисом, изменив его с soup.find_all(class_="blancedHeadline") на soup.find_all("span", {"class" : "blancedHeadline"), даже добавив attrs= прямо перед различием классов.

Вот код, который у меня есть, и после попытки выяснить, что я делаю не так некоторое время, я не знаю, что является причиной проблемы:

import requests
from bs4 import BeautifulSoup

base_url = 'https://www.nytimes.com/'
r = requests.get(base_url)
soup = BeautifulSoup(r.text, 'lxml')

headline_text = soup.find_all('span', {'class':'balancedHeadline'})

for headline in headline_text:
    print(headline)

Answer 1

Прежде всего, почему вы не можете получить вывод, используя класс "blancedHeadline", потому что страница частично отображается с использованием javascript. Возможно, вы сможете увидеть его в инструменте проверки своего браузера. Но, если вы пойдете и посмотрите страницу источника, ее там не будет.

Во-вторых, даже если вы можете получить заголовки из тега h2, некоторые другие теги h2 также присутствуют на странице. Итак, нам нужно изолировать заголовки, используя имя класса родительского div, а затем получить вывод.

import requests
from bs4 import BeautifulSoup
base_url = 'https://www.nytimes.com/'
r = requests.get(base_url)
soup = BeautifulSoup(r.text, 'lxml')
headline_text = soup.find('div',class_="css-11bbiel").find_all('h2')
for headline in headline_text:
    print(headline.text)

выход

Brexit Deal Fails in Parliament; May Faces No-Confidence Vote
Brexit, explained: Here’s what it all means.
Here’s what could happen next.
William Barr Vows to Protect Justice Dept. Integrity
Court Blocks Trump Administration From Asking About Citizenship in Census
Here are highlights from the Senate confirmation hearing.
House Votes to Condemn White Supremacy After King Comments
King Loses Committee Seats Over Remark
We put together a timeline of Mr. King’s history of racist actions.
Democrats Jilt Trump on Lunch but Look for Shutdown Exit
‘The Shutdown Makes Me Nervous’: Young People Caught in Impasse
Shutdown turmoil at a New York jail: Prisoners went on a hunger strike after family visits were canceled over staffing shortages.
Ex-Mexican President Took $100 Million Bribe, El Chapo Trial Witness Says
Last week, The Times reported on how a Colombian I.T. expert helped the authorities take down the kingpin.
Carol Channing, Larger-Than-Life Broadway Star, Dies at 97
Even From Afar, Channing Served Up That Broadway Wow
Theater colleagues recalled Ms. Channing as a tireless performer and promoter who had little use for doctors’ orders.
Britain Is a Nation in Desperate Need of a Driver
Why Steve King’s Punishment Took So Long 
Next to a National Park, People Plan for Winter. No One Planned for This.
How to Make New York as Progressive on Criminal Justice as Texas
The Cruelty of Call-Out Culture
Donald Trump and His Team of Morons
Republicans Condemn Steve King’s Racism? How Convenient
Our National Emergency Turns 2
Is 2019 Over Yet?
Donald Trump: The Russia File
Actually, the Numbers Show That We Need More Immigration, Not Less
Writer Moves From ‘Moonlight’ to Broadway, and Beyond
The Gay Penguins of Australia
Benno, Proudly Out of Step With the Age

Кроме того, на этот раз нам повезло, что страница просто использовала javascript только для изменения стиля. Это не всегда должно быть так. Кроме того, вы можете использовать селен .

Answer 2

Ну, я действительно не вижу названного вами класса. Если вы видите страницу источника, все заголовки в теге "h2". Попробуйте приведенный ниже код, и вы сможете извлечь текст дальше из вывода.

import requests
from bs4 import BeautifulSoup

base_url = 'https://www.nytimes.com/'
r = requests.get(base_url)
soup = BeautifulSoup(r.text, 'lxml')

headline_text = soup.find_all('h2')

for headline in headline_text:
    print(headline)