Я работаю над проектом по поддержке COVID-2019, и я пытаюсь использовать Beautifulsoup для получения ежедневной статистики для отчетности по всей стране. Когда я вначале запускаю свой код, я вижу, что таблицы HTML подтягиваются, но в моем коде нет столбцов. Я думаю, что зацикливаюсь на части column_headers # our column headers
', но я не совсем уверен.
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
import pandas as pd
import csv
url = 'https://coronavirus.1point3acres.com/en'
req = Request(url , headers={'User-Agent': 'Mozilla/5.0'})
html = urlopen(req).read()
soup = BeautifulSoup(html)
type(soup) # we see that soup is a BeautifulSoup object
div = soup.find(id="ant-table-thead")
table = soup.find('table')
table_rows = table.find_all('tr')
for tr in table_rows:
td = tr.find_all('td')
row = [i.text for i in td]
print(row)
column_headers # our column headers
data_rows = table.findAll('td')[8:]
type(data_rows) # now we have a list of table rows
virus_data = [[td.getText() for td in data_rows[i].findAll('td')]
for i in range(len(data_rows))]
df = pd.DataFrame(virus_data, columns=column_headers)
df.head() # head() lets us see the 1st 5 rows of our DataFrame by default
df.to_csv(r'C:/Junk/COVD/COVD1.csv', encoding='utf-8', index=False)