Как очистить данные таблицы с сайта, который медленно загружается - PullRequest
Новая
       184

Как очистить данные таблицы с сайта, который медленно загружается

2 голосов
/ 07 августа 2020

Я пытаюсь очистить данные таблицы со следующего веб-сайта: https://fantasyfootball.telegraph.co.uk/premier-league/statscentre/

Цель состоит в том, чтобы получить все данные игрока и сохранить их в словаре.

Я использую BeautifulSoup и могу найти таблицу в содержимом html, однако возвращаемое тело таблицы пустое.

Читая другие сообщения, я увидел, что это может быть связано с тем, как веб-сайт медленно загружает данные таблицы после загрузки веб-сайта, но я не смог найти способ обойти проблему.

Мой код выглядит следующим образом: 

from bs4 import BeautifulSoup
import requests

# Make a GET request to feth the raw HTML content
html_content = requests.get(url).text

# Parse the html content
soup = BeautifulSoup(html_content, "lxml")

# Find the Title Data within the website
player_table = soup.find("table", attrs={"class": "player-profile-content"})

print(player_table)

В результате я получаю следующее: 

<table class="playerrow playlist" id="table-players">
    <thead>
        <tr class="table-head"></tr>
    </thead>
    <tbody></tbody>
</table>

Фактический код HTML на веб-сайте довольно длинный, так как они упаковывают много данных в каждый <tr>, а также в последующие <td>, поэтому я не буду размещать это здесь, если кто-то не спросит. Достаточно сказать, что в строке заголовка есть несколько <td> строк, а также несколько строк <tr> в теле.

Ответы [ 2 ]

3 голосов
/ 07 августа 2020

Этот скрипт распечатает всю статистику игрока (данные загружаются с внешнего URL-адреса через Json): 

import ssl
import json
import requests
from urllib3 import poolmanager

# workaround to avoid SSL errors:
class TLSAdapter(requests.adapters.HTTPAdapter):
    def init_poolmanager(self, connections, maxsize, block=False):
        """Create and initialize the urllib3 PoolManager."""
        ctx = ssl.create_default_context()
        ctx.set_ciphers('DEFAULT@SECLEVEL=1')
        self.poolmanager = poolmanager.PoolManager(
                num_pools=connections,
                maxsize=maxsize,
                block=block,
                ssl_version=ssl.PROTOCOL_TLS,
                ssl_context=ctx)

url = 'https://fantasyfootball.telegraph.co.uk/premier-league/json/getstatsjson'

session = requests.session()
session.mount('https://', TLSAdapter())
data = session.get(url).json()

# uncomment this to print all data:
# print(json.dumps(data, indent=4))

for s in data['playerstats']:
    for k, v in s.items():
        print('{:<15} {}'.format(k, v))
    print('-'*80)

Выводит: 

SUSPENSION      None
WEEKPOINTS      0
TEAMCODE        MCY
SXI             34
PLAYERNAME      de Bruyne, K
FULLCLEAN       -
SUBS            3
TEAMNAME        Man City
MISSEDPEN       0
YELLOWCARD      3
CONCEED         -
INJURY          None
PLAYERFULLNAME  Kevin de Bruyne
RATIO           40.7
PICKED          36
VALUE           5.6
POINTS          228
PARTCLEAN       -
OWNGOAL         0
ASSISTS         30
GOALS           14
REDCARD         0
PENSAVE         -
PLAYERID        3001
POS             MID
--------------------------------------------------------------------------------

...and so on.
1 голос
/ 07 августа 2020

Простое решение - отслеживать сетевой трафик c и понимать, как происходит обмен данными. Вы увидите, что данные поступают из вызова GET Request URL: https://fantasyfootball.telegraph.co.uk/premier-league/json/getstatsjson Это красивый JSON, поэтому BeautifulSoup нам не нужен. Просто запросы сделают работу. 

import requests
import pandas as pd

URI = 'https://fantasyfootball.telegraph.co.uk/premier-league/json/getstatsjson'
r = requests.get(URI)

data = r.json()
df = pd.DataFrame(data['playerstats'])

print(df.head()) # head show first 5 rows

Результаты: введите описание изображения здесь

...