Wikitables для CSV - PullRequest
       3

Wikitables для CSV

0 голосов
/ 11 января 2020

Мне кажется, я близок к тому, чтобы туда добраться. Но не могу придумать, как превратить эти списки в .csv. Кто-нибудь может помочь?

import requests
from bs4 import BeautifulSoup
import pandas as pd

wiki = requests.get('https://en.wikipedia.org/wiki/List_of_mass_shootings_in_the_United_States')

soup = BeautifulSoup(wiki.content, 'html.parser')

tables = soup.find_all('table', class_='wikitable sortable')

column_names = [item.get_text() for item in tables[0].find_all('th')]

content = [item.get_text() for item in tables[0].find_all('td')]

df = pd.DataFrame(columns=column_names)

1 Ответ

0 голосов
/ 11 января 2020

Попробуйте с этим:

import requests
from bs4 import BeautifulSoup
import pandas as pd

wiki = requests.get('https://en.wikipedia.org/wiki/List_of_mass_shootings_in_the_United_States')

soup = BeautifulSoup(wiki.content, 'html.parser')
tables = soup.find_all('table', class_='wikitable sortable')
#column_names = [item.get_text() for item in tables[0].find_all('th')]
alltables=pd.DataFrame()
for x in tables:
  df = pd.read_html(str(x))
  alltables=alltables.append(df,ignore_index=True)
print(alltables)
#appended_data = pd.concat(appended_data)  
alltables.to_csv('test.csv')
...