Сложное сканирование / захват таблиц веб-сайта - PullRequest
0 голосов
/ 14 июля 2020

Я пытаюсь получить данные с веб-сайта, которые хранятся в таблицах. Всего имеется 4 таблицы, и первые две записываются правильно, но последние две возвращаются как пустые фреймы данных. Я не знаю, связано ли это с тем, что последние две таблицы слишком глубоко закопаны в HTML, или потому, что таблицы загружаются дольше. Я также начал пробовать Selenium, чтобы увидеть, помогает ли это с временем загрузки таблиц, но мне еще не повезло.

Спасибо

import sys
import time
import requests
import pandas as pd

r = requests.get("https://netcapital.com/companies/ghost")
dfs = pd.read_html(r.text)
dfs

Вывод

...