Как разрешить ссылку на устаревший элемент - Selenium (Python)

Question

Я знаю, что этот вопрос задавался несколько раз, но я не могу применить ни одну из резолюций к моей собственной ситуации.

Я очищаю веб-сайт от определенных значений, однако значения существуют в разных профилях на веб-сайте. Поэтому я вхожу в систему, получаю значение, выхожу из системы, снова регистрируюсь в новом профиле, получаю значение, выхожу из системы и т. Д.

Проблема связана с одним из пунктов меню при наведении, который, похоже, создает ссылку на устаревший элемент. Я полагаю, это из-за того, что я вышел из системы и вернулся снова? Можно ли это исправить или лучше запустить новый экземпляр WebDriver?

Вот мой код, примите во внимание, что я новичок в Python, поэтому простите за любые глупые ошибки или предположения:

from selenium import webdriver
from selenium.webdriver.support import ui
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver import ActionChains
from selenium.common.exceptions import StaleElementReferenceException

options = Options()
options.add_argument("start-maximized")
driver = webdriver.Chrome(options=options, executable_path=r'C:/Users/SChogle/Downloads/chromedriver.exe')
actions = ActionChains(driver)

driver.get("xxxxx")

iframe = ui.WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.TAG_NAME, "iframe")))

driver.switch_to.frame(iframe)

driver.find_element_by_id("Username").send_keys("xxxx")
driver.find_element_by_id("Password").send_keys("xxxx")
driver.find_element_by_id("submit_button").click()

driver.switch_to.default_content()

Investment = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div.menu.menuTopCenter > ul > li:nth-child(3) > a")))
actions.move_to_element(Investment).perform()

Investment_Summary = (WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"li:nth-child(3) > div > div:nth-child(1) > a")))).click()

Imp_Prov = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div#product-UT td.portfolioProductContractFundHeaderValueRight"))).get_attribute('innerHTML').strip()
print(Imp_Prov)

#log-out
log_out = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "a#btnLogoff"))).click()

#log back in

iframe = ui.WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.TAG_NAME, "iframe")))

driver.switch_to.frame(iframe)

driver.find_element_by_id("Username").send_keys("xxxx")
driver.find_element_by_id("Password").send_keys("xxxx")
driver.find_element_by_id("submit_button").click()

driver.switch_to.default_content()

tries = 0
while tries < 3:
    try:
        Investment = WebDriverWait(driver, 10,).until(EC.element_to_be_clickable((By.CSS_SELECTOR,  "div.menu.menuTopCenter > ul > li:nth-child(3) > a")))
        actions.move_to_element(Investment).perform()
        tries = 3

    except StaleElementReferenceException:
        tries += 1

Investment_Summary1 = (WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"li:nth-child(3) > div > div:nth-child(1) > a")))).click()

Imp_Pen = WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div#product-UT td.portfolioProductContractFundHeaderValueRight"))).get_attribute('innerHTML').strip()
print(Imp_Pen)

См. Трассировку стека ниже:

174,256,175.68 ZAR
Traceback (most recent call last):
  File "C:/Users/SChogle/PycharmProjects/test1/venv/Web Scraping - BCI.py", line 60, in <module>
    Investment_Summary1 = (WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"li:nth-child(3) > div > div:nth-child(1) > a")))).click()
  File "C:\Users\SChogle\PycharmProjects\test1\venv\lib\site-packages\selenium\webdriver\support\wait.py", line 80, in until
    raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: 


Process finished with exit code 1

Answer 1

Если вы посмотрите на исходный код

class element_to_be_clickable(object):
    """ An Expectation for checking an element is visible and enabled such that you can click it."""
    def __init__(self, locator):
        self.locator = locator

    def __call__(self, driver):
        element = visibility_of_element_located(self.locator)(driver)
        if element and element.is_enabled():
            return element
        else:
            return False

Элемент, вероятно, устарел до if element and element.is_enabled(): после нахождения в предыдущей строке (visibility_of_element_located обрабатывает StaleElementReferenceException). Вы можете добавить ignored_exceptions=[StaleElementReferenceException] к замедлению WebDriverWait, чтобы решить эту проблему

Investment1 = WebDriverWait(driver, 10, ignored_exceptions=[StaleElementReferenceException]).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div.menu.menuTopCenter > ul > li:nth-child(3) > a")))

Еще несколько баллов:

1. Ожидается условие frame_to_be_available_and_switch_to_it для обработки кадров
2. Все переменные Python должны быть в нижнем регистре

3. У вас есть повторение кода, вы можете использовать функции вместо

   options = Options()
   options.add_argument("start-maximized")
   driver = webdriver.Chrome(options=options, 
   executable_path=r'C:/Users/SChogle/Downloads/chromedriver.exe')
   actions = ActionChains(driver)
   
   driver.get("xxxxxxx")
   
   def do_login():
       WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.TAG_NAME, "iframe")))
   
       driver.find_element_by_id("Username").send_keys("xxxxx")
       driver.find_element_by_id("Password").send_keys("xxxxx")
       driver.find_element_by_id("submit_button").click()
   
       driver.switch_to.default_content()
   
   def print_content():
       investment = WebDriverWait(driver, 10, ignored_exceptions=[StaleElementReferenceException]).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div.menu.menuTopCenter > ul > li:nth-child(3) > a")))
       actions.move_to_element(investment).perform()
   
       investment_summary = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"li:nth-child(3) > div > div:nth-child(1) > a"))).click()
   
       imp_prov = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div#product-UT td.portfolioProductContractFundHeaderValueRight"))).get_attribute('innerHTML').strip()
       print(imp_prov)
   
   do_login()
   print_content()
   driver.find_element_by_css_selector("a#btnLogoff").click()
   
   do_login()
   print_content()
   

Edit:

Согласно добавленной вами трассировке стека, исключение действительно на actions.move_to_element(Investment1).perform(). Это можно решить простым циклом и повторите попытку

tries = 0
while tries < 3:
    try:
        investment = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div.menu.menuTopCenter > ul > li:nth-child(3) > a")))
        actions.move_to_element(investment).perform()
        tries = 3
    except StaleElementReferenceException:
        tries += 1

Answer 2

Попробуйте использовать -

1. Проверьте, присутствует ли элемент в этом месте.
2. Если да, то вы можете использовать javascript, нажав
3. Если нет, найдите элемент еще раз инажмите.