Скрап стол с BeautifulSoup - Python - PullRequest
0 голосов
/ 24 марта 2020

Я пытаюсь почистить таблицу с этого сайта:

https://covidactnow.org/state/CA

Я использую следующий код:

import requests
from bs4 import BeautifulSoup

URL = 'https://covidactnow.org/state/CA'
page = requests.get(URL)

soup = BeautifulSoup(page.content, 'html.parser')

soup.find_all('tr')

Я полагал, что код должен найти таблицу, однако он возвращает пустой список.

1 Ответ

1 голос
/ 24 марта 2020

@ Кундук прав. Вам нужно использовать селен

import time
from selenium import webdriver
import pandas as pd
driver = webdriver.Chrome(executable_path='Your:/Path/to/chromedriver.exe') 
driver.get("https://covidactnow.org/state/CA")
time.sleep(5)
html = driver.page_source
tables = pd.read_html(html)
data = tables[-1]
driver.quit()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...