Как выполнить все содержимое javascript на веб-странице с селеном, чтобы найти и отправить информацию формы входа на полностью загруженной веб-странице

Question

Я пытался создать скрипт Python для входа на определенный веб-сайт, навигации по меню, заполнения формы и сохранения создаваемого файла в папку.

Я использовалSelenium пытается сделать веб-сайт полностью загруженным, чтобы я мог найти элементы для входа в систему, но я безуспешно, возможно, потому, что веб-сайт выполняет много JavaScript-контента, прежде чем он полностью загружается, но я не могу сделать его полностью загруженным ипокажи мне данные, которые я хочу.

Я попробовал Robobrowser, Selenium, Requests и BeautifulSoup, чтобы сделать это.

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

url = "https://directa.natal.rn.gov.br/"

driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")
driver.get(url)

html = driver.execute_script("return document.documentElement.outerHTML")
sel_soup = BeautifulSoup(html, 'html.parser')

senha = driver.find_element_by_xpath('//*[@id="senha"]')
senha.send_keys("123")

Я ожидал, что заполнил поле пароля (senha) с "123"но я даже не могу найти элемент.

Answer 1

Кажется, что здесь нужно немного прокрутить, подождать и переключиться, если поля входа в систему просто не готовы для ввода :) Ниже должно работать, в результате чего мы фактически прокручиваем до элемента, имея переключатель наiframe, прежде чем мы будем взаимодействовать с остальной частью формы входа.Вы можете настроить задержку от 5 секунд до любого значения по вашему выбору.

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

""" Variables """
url = "https://directa.natal.rn.gov.br/"
delay = 5 # seconds

""" Initiate driver """
driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")

""" Go to url """
driver.get(url)

""" Iframe switch """
WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"frame[name='mainsystem'][src^='main']")))


""" Attempt to get all our elements """
try:
    """ Username """
    usuario = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'usuario')))
    """ Password """
    senha = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'senha')))

    print("All elements located!")

except TimeoutException:
    print("Loading took too much time!")
    exit(0)

"""Scroll to our element """
driver.execute_script("arguments[0].scrollIntoView();", usuario)

""" Input data into our fields """
usuario.send_keys("username")
senha.send_keys("password")

""" Locate our login element """
login = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'acessar')))

""" Click Login """
login.click()

Answer 2

Чтобы отправить последовательность символов 123 в поле пароль (senha) , так как требуемые элементы находятся в пределах <frame>, вам необходимо:

• Induce WebDriverWait для желаемого кадра, который будет доступен, и переключитесь на него .
• Induce WebDriverWait для требуемого элемент для нажатия .

• Вы можете использовать следующее решение:

  • Блок кода:

    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    
    options = webdriver.ChromeOptions()
    options.add_argument("start-maximized")
    options.add_argument('disable-infobars')
    options.add_argument("--disable-extensions")
    driver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\WebDrivers\chromedriver.exe')
    driver.get("https://directa.natal.rn.gov.br/")
    WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"frame[name='mainsystem'][src^='main']")))
    WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "input.input[name='usuario']"))).send_keys("Tads")
    driver.find_element_by_css_selector("input.input[name='senha']").send_keys("123")
    

• Снимок браузера:

Здесь вы можете найти соответствующее обсуждение Способы работы с #document в iframe