Beautifulsoup не показывает столбцы - PullRequest
0 голосов
/ 12 марта 2020

Я работаю над проектом по поддержке COVID-2019, и я пытаюсь использовать Beautifulsoup для получения ежедневной статистики для отчетности по всей стране. Когда я вначале запускаю свой код, я вижу, что таблицы HTML подтягиваются, но в моем коде нет столбцов. Я думаю, что зацикливаюсь на части column_headers # our column headers ', но я не совсем уверен.

from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
import pandas as pd
import csv

url = 'https://coronavirus.1point3acres.com/en'

req = Request(url , headers={'User-Agent': 'Mozilla/5.0'})
html = urlopen(req).read()
soup = BeautifulSoup(html)

type(soup)  # we see that soup is a BeautifulSoup object

div = soup.find(id="ant-table-thead")

table = soup.find('table')

table_rows = table.find_all('tr')

for tr in table_rows:
    td = tr.find_all('td')
    row = [i.text for i in td]
    print(row)

column_headers # our column headers

data_rows = table.findAll('td')[8:]

type(data_rows)  # now we have a list of table rows


virus_data = [[td.getText() for td in data_rows[i].findAll('td')]
            for i in range(len(data_rows))]

df = pd.DataFrame(virus_data, columns=column_headers)

df.head()  # head() lets us see the 1st 5 rows of our DataFrame by default

df.to_csv(r'C:/Junk/COVD/COVD1.csv', encoding='utf-8', index=False)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...