Как очистить данные из среды JavaScript, которые не имеют таблицы в своем источнике?

Question

Я разрабатываю код для входа в среду javascript, а затем хочу очистить данные с веб-сайта с помощью BeautifulSoup.Дело в том, что я понял, что в среде нет таблиц, поэтому мне было интересно, как я могу собрать данные с веб-сайта.

Любые советы?

Это дляя закончил курсовую работу, и я попытался очистить данные, задаваясь вопросом, что таблица существует, но она не удалась.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import re
import pandas as pd
from tabulate import tabulate
import os

url = "https://scon.stj.jus.br/SCON/legaplic/toc.jsp?materia=%27Lei+8.429%2F1992+%28Lei+DE+IMPROBIDADE+ADMINISTRATIVA%29%27.mat.&b=TEMA&p=true&t=&l=1&i=18&ordem=MAT,@NUM"

driver = webdriver.Firefox()
driver.implicitly_wait(30)
driver.get(url)

python_button = driver.find_element_by_xpath('/html/body/div[2]/div[6]/div/div/div[3]/div[2]/div/div/div/div[16]/a')
python_button.click()

driver.switch_to.window(driver.window_handles[-1])

python_button = driver.find_element_by_xpath('/html/body/div[2]/div[6]/div[1]/div/div[3]/div[2]/div/div/div/div[3]/div[2]/span[2]/a')
python_button.click()

driver.switch_to.window(driver.window_handles[-1])

pagina_de_resultados = BeautifulSoup(driver.page_source, 'lxml')

table = pagina_de_resultados.find_all('table')

df = pd.read_html(str(table), header=0)

datalist.append(df[0])

x += 1

driver.quit()

result = pd.concat([pd.DataFrame(datalist[i]) for i in range(len(datalist))], ignore_index=True)

json_records = result.to_json(orient='records')

print(tabulate(result, headers=["Processo", "Relator(a)", "Órgão Julgador", "Data do Julgamento", "Data da Publicação/Fonte", "Ementa", "Notas", "Informações Complementares à Ementa (ICE)", "Referência Legislativa", "Jurisprudência Citada", "Acórdãos Similares"], tablefmt='psql'))

path = os.getcwd()

f = open(path + "\\fhsu_payroll_data.json", "w")
f.write(json_records)
f.close()

Я ожидал, что на выходе будет таблица с информацией о суждениях, но вместо этого яполучил ошибку, что в среде не найдено ни одной таблицы.

Answer 1

Вам придется использовать теги, связанные с данными, которые вы хотите, и выгружать их в кадр данных.Вот первая страница / ссылка:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import re
import pandas as pd
from tabulate import tabulate
import os

url = "https://scon.stj.jus.br/SCON/legaplic/toc.jsp?materia=%27Lei+8.429%2F1992+%28Lei+DE+IMPROBIDADE+ADMINISTRATIVA%29%27.mat.&b=TEMA&p=true&t=&l=1&i=18&ordem=MAT,@NUM"

driver = webdriver.Chrome()
driver.implicitly_wait(30)
driver.get(url)

python_button = driver.find_element_by_xpath('/html/body/div[2]/div[6]/div/div/div[3]/div[2]/div/div/div/div[16]/a')
python_button.click()

driver.switch_to.window(driver.window_handles[-1])

python_button = driver.find_element_by_xpath('/html/body/div[2]/div[6]/div[1]/div/div[3]/div[2]/div/div/div/div[3]/div[2]/span[2]/a')
python_button.click()

driver.switch_to.window(driver.window_handles[-1])
pagina_de_resultados = BeautifulSoup(driver.page_source, 'lxml')

parse = pagina_de_resultados.find('div', {'id':'listadocumentos'})
paragrafoBRS = parse.find_all('div',{'class':'paragrafoBRS'})

results = pd.DataFrame()
for each in paragrafoBRS:
    if each.find('h4', {'class':'docTitulo'}).text.strip() == 'Processo':
        header = []
        content = []

    header.append(each.find('h4', {'class':'docTitulo'}).text.strip())
    content.append(each.find(['div','pre'], {'class':'docTexto'}).text.strip())

    df = pd.DataFrame([content], columns = header)
    results = results.append(df).reset_index(drop=True)