Как очистить многостраничную таблицу с селеном? - PullRequest
0 голосов
/ 19 марта 2020

привет, я пытаюсь очистить многостраничную таблицу от finviz, в tabel есть 20 строк на каждой странице, я хотел бы, чтобы селен был go постранично (нажимая далее), добавляя все страницы в один DataFrame, не пропуская заголовки каждый время.

вот мой код

    import selenium 
    from selenium import webdriver
    from selenium.webdriver.common.keys import Keys
    import pandas as pd


    browser = webdriver.Chrome('c://chromedriver.exe')
    url = 'https://finviz.com/screener.ashx?v=111&f=geo_usa,sh_curvol_o500,sh_price_o1,sh_relvol_o1.5'

    browser.get(url)
    tabel = browser.find_element_by_xpath('//*[@id="screener- 
    content"]/table/tbody/tr[4]/td/table').get_attribute('outerHTML')

    link_next_page = browser.find_element_by_xpath('//*[@id="screener- 
    content"]/table/tbody/tr[7]/td/a[10]/b')
    link_next_page.click()
    df  = pd.read_html(tabel)
    dataset = df[0]

    dataset.to_csv('first_page_screener.csv')

Снимок экрана приложения

tnx для любой помощи

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...