Exctract html таблица с динамически загружаемых сайтов

Question

Я разрабатывал скрипт для извлечения html таблицы из динамических c сайтов. Ниже приведен мой сценарий:

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
import time
import sys

driver = webdriver.Chrome()
driver.implicitly_wait(20)

URL = 'https://www.ccee.org.br/portal/faces/pages_publico/o-que-fazemos/como_ccee_atua/precos/precos_medios?_adf.ctrl-state=7e1fw5zdn_14&_afrLoop=19197915280379#!%40%40%3F_afrLoop%3D19197915280379%26_adf.ctrl-state%3D7e1fw5zdn_18'

driver.get(URL)
time.sleep(50)
soup = BeautifulSoup(driver.page_source, "html.parser")
table = soup.find('html')

list_of_rows = []
for row in table.findAll('tr'):
    list_of_cells = []
    for cell in row.findAll(["td"]):
        text = cell.text
        list_of_cells.append(text)
    list_of_rows.append(list_of_cells)

for item in list_of_rows:
    ' '.join(item)

Data = pd.DataFrame(list_of_rows)

Data.to_csv('Data.csv' ,index = False)

driver.quit()

Я использовал Selenium для извлечения, но не смог получить таблицу, которая находится на веб-странице URL. Когда я запускаю этот скрипт, я получаю следующую таблицу:

          0         1         2     3     4     5
0                                                
1                                None  None  None
2                                None  None  None
3                  OK        OK              None
4        OK                None  None  None  None
5                                            None
6                          None  None  None  None
7                                None  None  None
8            OKCancel  OKCancel              None
9  OKCancel                None  None  None  None

Answer 1

Я изменил ваш код и теперь могу правильно экспортировать таблицу.

• Основная проблема, вероятно, заключалась в том, что ваша таблица находится в iframe, и вам необходимо переключиться перед любым дальнейшим взаимодействием. со страницей.
• BeatifulSoup cell.text включает символы "\ n", "\ t", которые я удалил с помощью регулярных выражений
• См. дополнительные комментарии и дайте мне знать, если у вас есть вопросы

Решение:

import pandas as pd
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from bs4 import BeautifulSoup
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import re

driver = webdriver.Chrome()
URL = 'https://www.ccee.org.br/portal/faces/pages_publico/o-que-fazemos/como_ccee_atua/precos/precos_medios?_adf.ctrl-state=7e1fw5zdn_14&_afrLoop=19197915280379#!%40%40%3F_afrLoop%3D19197915280379%26_adf.ctrl-state%3D7e1fw5zdn_18'

driver.get(URL)

WebDriverWait(driver, 60).until(EC.visibility_of_element_located((By.ID,'pt1:myFrame')))   #wait for iframe to load
iframe=driver.switch_to.frame('pt1:myFrame')

WebDriverWait(driver, 60).until(EC.visibility_of_element_located((By.XPATH,"//table//thead/tr/th")))  # wait for table header to load
soup = BeautifulSoup(driver.page_source, "html.parser")
table = soup.find('html')

list_of_rows = []
for row in table.findAll('tr'):
    list_of_cells = []
    for cell in row.findAll(["td"]):
        text = re.sub(r'\n\t+', '', cell.text)   #replace new line and tab with ''
        list_of_cells.append(text)
    list_of_rows.append(list_of_cells)

for item in list_of_rows:
    ' '.join(item)

data = pd.DataFrame(list_of_rows)
data.dropna(axis = 0, how='any', inplace = True)   # drop empty lines
header=['Mes','SE/CO','S','NE','N']
data.to_csv('Datax.csv', header=header, index = False)

driver.quit()