Извлечение таблицы JavaScript с использованием Python

Question

Я новичок в python, и я пытаюсь выяснить, как извлечь данные с этого сайта: https://www.tokendata.io/. Обычно я работаю с таблицами HTML, используя красивый суп, но это, кажется, требует использования селен. Кто-нибудь, кто может мне помочь. Мне очень нужны данные для моей диссертации.

Answer 1

Вы имеете в виду, что хотите загрузить страницу и извлечь данные, найденные в HTML-таблице div.dataTables_scrollBody, в объект в python, такой как кортеж

tabletuple = [('EOS','Active','$3,272,911,705.00','Jun 2018','','','',''),('Telegrame Open Network',"Completed",'1,700,000,000.00   ','Apr 2018','','',''),...etc

Вы можете сделать это с помощью селена, получивТаблица селектором css "div.dataTables_scrollBody"

ниже представляет некоторый пример кода с веб-драйвером для получения строки индекса 1 и столбца индекса 1 текста строки с помощью веб-драйвера selenium.Вы можете использовать это с кодом выше для создания кортежа данных из таблицы HTML

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--allow-file-access-from-files")
chrome_options.add_argument("--allow-running-insecure-content")
chrome_driver_path = os.path.join(driver_path, "chromedriver.exe")
print("\n ChromeDriverPath: " + chrome_driver_path)
driver = webdriver.Chrome(executable_path=chrome_driver_path, 
chrome_options=chrome_options)
table_element = driver.find_element(by=By.CSS_SELECTOR,    value='div.dataTables_scrollBody')

rows = table_element.find_elements_by_xpath("./tr")
row = 1
row_elements = rows[row].find_elements_by_xpath("./td")
column = 1
text_element = row_elements[column].get_attribute("innerText")