Как получить новую страницу после селеновых тайм-аутов на бесконечно загружаемую страницу

Question

Я столкнулся с проблемной страницей, которая заставляет Selenium Chrome (селен версии 3.10.0 в python 3, chromedriver версии 2.35.528157) на MacOSX зависать, я думаю, потому что на странице что-то неопределенно загружается. Проблема заключается в том, что после этого тайм-аута все последующие запросы к драйверу .get () нового URL также завершаются с таймаутом, даже если они работали раньше. Фактически, наблюдая за браузером, он никогда не отправляется на новый URL. Это, конечно, делает браузер бесполезным для дальнейших сессий.

Как я могу "сбросить" драйвер, чтобы я мог продолжать его использовать? Или, если это не удалось, как я могу отладить, почему команда .get () не работает после посещения проблемной страницы. Код и мой вывод приведены ниже (проблемная страница - http://coastalpathogens.wordpress.com/2012/11/25/onezoom/: мне было бы интересно, если бы другие люди увидели то же самое и с другими страницами тоже

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

browser = webdriver.Chrome()
browser.set_page_load_timeout(10)
browser.implicitly_wait(1)

for link in ("http://www.google.com", "http://coastalpathogens.wordpress.com/2012/11/25/onezoom/","http://www.google.com"):
    try:
        print("getting {}".format(link))
        browser.get(link)
        print("done!")
    except TimeoutException:
        print("Timed out")
        continue

результат:

getting http://www.google.com
done!
getting http://coastalpathogens.wordpress.com/2012/11/25/onezoom/
Timed out
getting http://www.google.com
Timed out

Answer 1

В соответствии с вашим вопросом и вашим собственным блоком кода, я выполнил ваш собственный код, настроив несколько настроек ChromeDriver через класс chrome.options , как показано ниже, и он работает perfecto:

Блок кода:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import TimeoutException

options = Options()

options.add_argument("start-maximized")
options.add_argument("disable-infobars")
options.add_argument("--disable-extensions")
browser = webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
browser.set_page_load_timeout(10)

for link in ("http://www.google.com", "http://coastalpathogens.wordpress.com/2012/11/25/onezoom/","http://www.google.com"):
    try:
        print("getting {}".format(link))
        browser.get(link)
        print("done!")
    except TimeoutException:
        print("Timed out")
    continue

Вывод на консоль:

getting http://www.google.com
done!
getting http://coastalpathogens.wordpress.com/2012/11/25/onezoom/
done!
getting http://www.google.com
done!

Проблема на вашем конце и решение

Естьпара вещей, которые вам нужно учесть следующим образом:

• До тех пор, пока ваш сценарий использования не ограничен Тайм-аут загрузки страницы вы не должны использовать set_page_load_timeout() как в медленных сетях, при вызове URL, например, http://coastalpathogens.wordpress.com/2012/11/25/onezoom/ Клиент браузера может потребовать более 10 секунд (т. е. настроенное время через set_page_load_timeout(10)) для отправки document.readyState equal to "complete" в Selenium .

• Если ваш сценарий использования зависит от Время загрузки страницы , перехватите исключение и вызовите quit() для отключенияизящно следующим образом:

  from selenium import webdriver
  
  driver = webdriver.Chrome(executable_path=r'C:\path\to\chromedriver.exe')
  driver.set_page_load_timeout(2)
  try :
      driver.get("https://www.booking.com/hotel/in/the-taj-mahal-palace-tower.html?label=gen173nr-1FCAEoggJCAlhYSDNiBW5vcmVmaGyIAQGYATG4AQbIAQzYAQHoAQH4AQKSAgF5qAID;sid=338ad58d8e83c71e6aa78c67a2996616;dest_id=-2092174;dest_type=city;dist=0;group_adults=2;hip_dst=1;hpos=1;room1=A%2CA;sb_price_type=total;srfid=ccd41231d2f37b82d695970f081412152a59586aX1;srpvid=c71751e539ea01ce;type=total;ucfs=1&#hotelTmpl")
      print("URL successfully Accessed")
      driver.quit()
  except :
      print("Page load Timeout Occured. Quiting !!!")
      driver.quit()
  

• Консольный вывод:

  Page load Timeout Occured. Quiting !!!
  

  YoВы можете найти подробное обсуждение set_page_load_timeout() в Как установить время ожидания 'driver.get' для python selenium 3.8.0?

• Попробуйте заменить использование implicitly_wait() на ExplicitWait .Современные веб-сайты используют JavaScript , Ajax Calls и React Native , где WebDriverWait вступит в игру, и вы не можете смешивать implicitly_wait()с WebDriverWait().