Как извлечь текст из указанного класса c div с помощью Beautiful Soup?

Question

Таким образом, в основном я хочу извлечь текст внутри

<div class = "examplediv">
example text
</div>

Я использовал

url='https://sample.com'
headers={"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
page = requests.get(url, headers=headers)
soup = BeautifulSoup(page.content, 'html.parser')
data = soup.find("div", {"class":"examplediv"})
clean_data = data.text
print(clean_data)

, но он никогда не перестанет возвращаться с "None" в терминале.

Как я могу go об этом?

Answer 1

попробуйте find_all вместо find в случае, если повторяется одно и то же имя класса, так что вы можете просто получить первый элемент. find_all должен вернуть список предметов для вас. в противном случае вы можете иметь дело с class в event, который загружается через JavaScript, который не будет отображаться через модуль requests. вам нужно будет использовать selenium в этом случае или поделиться url, чтобы мы могли вручную проверить другие методы.