Использование BeautifulSoup для поиска атрибута под названием data-stats - PullRequest
Новая
       4

Использование BeautifulSoup для поиска атрибута под названием data-stats

0 голосов
/ 15 февраля 2019

В настоящее время я работаю над веб-скребком, который позволит мне получать статистику от футболиста.Обычно это было бы легкой задачей, если бы я мог просто взять div, однако, этот сайт использует атрибут под названием data-stats и использует его как класс.Это пример этого.

<th scope="row" class="left " data-stat="year_id"><a href="/years/2000/">2000</a></th>

Если вы хотите проверить сайт самостоятельно, вот ссылка.

https://www.pro -football-reference.com / Players / B / BradTo00.htm

Я пробовал несколько разных методов.Либо это не будет работать вообще, либо я смогу запустить цикл for и начать помещать вещи в массивы, однако вы заметите, что не все в таблице имеет тот же тип var.

Извините за форматирование и грамматику.

Вот то, что у меня есть, я уверен, что это не самый красивый код, это в основном просто код, который я пробовал самостоятельнои несколько вещей смешались с поиском в Google.Проигнорируйте случайный импорт, я пробовал разные вещи 

# import libraries
import csv
from datetime import datetime
import requests
from bs4 import BeautifulSoup
import lxml.html as lh
import pandas as pd

# specify url
url = 'https://www.pro-football-reference.com/players/B/BradTo00.htm'

# request html
page = requests.get(url)

# Parse html using BeautifulSoup, you can use a different parser like lxml if present
soup = BeautifulSoup(page.content, 'lxml')
# find searches the given tag (div) with given class attribute and returns the first match it finds



headers = [c.get_text() for c in soup.find(class_ = 'table_container').find_all('td')[0:31]]

data = [[cell.get_text(strip=True) for cell in row.find_all('td')[0:32]]
        for row in soup.find_all("tr", class_=True)]

tags = soup.find(data ='pos')
#stats = tags.find_all('td')

print(tags)

Ответы [ 2 ]

0 голосов
/ 15 февраля 2019

Вам необходимо использовать метод get из BeautifulSoup, чтобы получить атрибуты по имени. См .: BeautifulSoup Get Attribute

Вот фрагмент, чтобы получить все необходимые данные изтаблица: 

from bs4 import BeautifulSoup
import requests

url = "https://www.pro-football-reference.com/players/B/BradTo00.htm"
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')

# Get table
table = soup.find(class_="table_outer_container")

# Get head
thead = table.find('thead')
th_head = thead.find_all('th')

for thh in th_head:
    # Get case value
    print(thh.get_text())

    # Get data-stat value
    print(thh.get('data-stat'))

# Get body
tbody = table.find('tbody')
tr_body = tbody.find_all('tr')

for trb in tr_body:
    # Get id
    print(trb.get('id'))

    # Get th data
    th = trb.find('th')
    print(th.get_text())
    print(th.get('data-stat'))

    for td in trb.find_all('td'):
        # Get case value
        print(td.get_text())
        # Get data-stat value
        print(td.get('data-stat'))

# Get footer
tfoot = table.find('tfoot')
thf = tfoot.find('th')

# Get case value
print(thf.get_text())
# Get data-stat value
print(thf.get('data-stat'))

for tdf in tfoot.find_all('td'):
    # Get case value
    print(tdf.get_text())
    # Get data-stat value
    print(tdf.get('data-stat'))

Вы можете, конечно, сохранить данные в формате CSV или даже в формате JSON вместо их печати

0 голосов
/ 15 февраля 2019

Не очень понятно, что именно вы пытаетесь извлечь, но это может вам немного помочь: 

import requests
from bs4 import BeautifulSoup as bs

url = 'https://www.pro-football-reference.com/players/B/BradTo00.htm'

page = requests.get(url)
soup = bs(page.text, "html.parser")

# Extract table
table = soup.find_all('table')
# Let's extract data from each row in table
for row in table:
    col = row.find_all('td')
    for c in col:
        print(c.text)

Надеюсь, это поможет!

...