Я не могу найти повторяющийся элемент из объекта bs4

Question

У меня проблема сводит меня с ума. Я пытаюсь получить текст с веб-сайта Pro Football Reference.

Мне нужна информация в элементе td, отображающем qb hurries во втором разделе веб-страницы. Информация находится в элементе td, который называется qb_hurry. Вот что у меня есть:

res = requests.get('https://www.pro-football-reference.com/players/D/DonaAa00.htm')

soup = bs4.BeautifulSoup(res.text, 'html.parser')

Я пытался

totalQbHurrys = soup.find('div', {'id':'all_detailed_defense'})

, и я вижу информацию, которую мне нужно получить, когда я анализирую красивый суповый объект и распечатываю его. Но когда я пытаюсь получить нужный элемент td

totalQbHurrys = soup.find('div', {'id':'all_detailed_defense'}).find('td', {'data-stat':'qb_hurry'})

, он возвращает None, я думаю, что текст, который я ищу, сначала существует как комментарий, но у меня возникают проблемы с получением фактический HTML элемент мне нужен. Кто-нибудь знает способ успешно нацелиться на элемент qb_hurry?

Answer 1

Проблема в том, что это поле находится внутри HTML тега комментария.

Вот разрешение:

import bs4
import requests

res = requests.get('https://www.pro-football-reference.com/players/D/DonaAa00.htm')

soup = bs4.BeautifulSoup(res.text, 'html.parser')

extract = soup.find('div', {'id':'all_detailed_defense'})

for comments in extract.find_all(text=lambda text:isinstance(text, bs4.Comment)):
    comments.extract()

soup2 = bs4.BeautifulSoup(comments, 'html.parser')

totalQbHurrys = soup2.find('td', {'data-stat':'qb_hurry'})

print(totalQbHurrys)

PS: я использовал этот трюк: { ссылка }

Answer 2

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
import pandas as pd

options = Options()
options.add_argument('--headless')

driver = webdriver.Firefox(options=options)

driver.get("https://www.pro-football-reference.com/players/D/DonaAa00.htm")

df = pd.read_html(driver.page_source, attrs={
                  'class': 'row_summable sortable stats_table now_sortable'}, header=1)[0]

print(df.loc[1, 'Hrry'])

driver.quit()

Выход:

32

Answer 3

HTML, который вам нужен, находится внутри комментария, поэтому не будет виден непосредственно в soup. Вам нужно сначала получить комментарий, а затем проанализировать его как новый soup объект. Отсюда вы можете найти элементы tr и th. Например:

from bs4 import BeautifulSoup, Comment
import requests

res = requests.get('https://www.pro-football-reference.com/players/D/DonaAa00.htm')
soup = BeautifulSoup(res.text, 'html.parser')
div = soup.find('div', {'id':'all_detailed_defense'})
comment_html = div.find(string=lambda text: isinstance(text, Comment))
comment_soup = BeautifulSoup(comment_html, 'html.parser')

for tr in comment_soup.find_all('tr'):
    row = [td.text for td in tr.find_all(['td', 'th'])]
    print(row)

Даю вам:

['', 'Games', 'Pass Coverage', 'Pass Rush', 'Tackles']
['Year', 'Age', 'Tm', 'Pos', 'No.', 'G', 'GS', 'Int', 'Tgt', 'Cmp', 'Cmp%', 'Yds', 'Yds/Cmp', 'Yds/Tgt', 'TD', 'Rat', 'DADOT', 'Air', 'YAC', 'Bltz', 'Hrry', 'QBKD', 'Sk', 'Prss', 'Comb', 'MTkl', 'MTkl%']
['2018*+', '27', 'LAR', 'DT', '99', '16', '16', '0', '1', '0', '0.0%', '0', '', '0.0', '0', '39.6', '-2.0', '0', '0', '0', '30', '19', '20.5', '70', '59', '6', '9.2%']
['2019*+', '28', 'LAR', 'DT', '99', '16', '16', '0', '0', '0', '', '0', '', '', '0', '', '', '0', '0', '0', '32', '9', '12.5', '55', '48', '6', '11.1%']