Я хочу получить таблицу с веб-страницы, но не могу получить все столбцы. При просмотре страницы я заметил, что html меняется в зависимости от того, где я нахожусь на странице. Поэтому я попытался открыть браузер, установив такие высокие значения:
DRIVER_PATH = 'chromedriver'
driver = webdriver.Chrome(executable_path=DRIVER_PATH)
driver.set_window_position(0,0)
driver.set_window_size(10000,10000)
driver.get('mywebsite.com')
А затем я ищу свою таблицу и использую ее как фрейм данных:
soup=BeautifulSoup(html,'html.parser')
div=soup.find("table",{"class":"htCore"})
table=pd.read_html(str(div))
Но все еще есть в моем результате отсутствуют некоторые столбцы, потому что в таблице на веб-сайте слишком много столбцов.
Я пытался прокрутить и уменьшить масштаб с помощью excecute_script, но ничего не произошло, когда я попробовал.
Я не сделал знайте, что страница может иметь html изменение при прокрутке. На данный момент, поскольку у меня не так много строк, это не проблема, но мне нужно получить всю таблицу, а не только то, что отображается на html, поскольку оно меняется каждый раз при изменении представления.
ый номер бализа в левой части страницы
ый номер бализа в правой части страницы
Он изменился с 22 на 28 балансов и каждый раз меняется