привет, я пытаюсь очистить многостраничную таблицу от finviz, в tabel есть 20 строк на каждой странице, я хотел бы, чтобы селен был go постранично (нажимая далее), добавляя все страницы в один DataFrame, не пропуская заголовки каждый время.
вот мой код
import selenium
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import pandas as pd
browser = webdriver.Chrome('c://chromedriver.exe')
url = 'https://finviz.com/screener.ashx?v=111&f=geo_usa,sh_curvol_o500,sh_price_o1,sh_relvol_o1.5'
browser.get(url)
tabel = browser.find_element_by_xpath('//*[@id="screener-
content"]/table/tbody/tr[4]/td/table').get_attribute('outerHTML')
link_next_page = browser.find_element_by_xpath('//*[@id="screener-
content"]/table/tbody/tr[7]/td/a[10]/b')
link_next_page.click()
df = pd.read_html(tabel)
dataset = df[0]
dataset.to_csv('first_page_screener.csv')
Снимок экрана приложения
tnx для любой помощи