Использование Selenium с Chrome не загружает веб-страницу

Question

Это странная ошибка, связанная с Selenium и Chrome. Я сталкивался с подобной проблемой раньше, но это было временно. Но это происходит часто.

Основная проблема, он работал нормально несколько дней go, затем внезапно Chrome не загружал веб-страницу, я могу регулярно загружать ее вне скрипта, но когда я пытаюсь получить его через Selenium, ничего.

Я пробовал несколько вещей, таких как добавление дополнительных опций в Chrome, повторная загрузка.

Это мои опции для Chrome

def browser_setup(self, headless=True):
        browser_options = webdriver.ChromeOptions()
        browser_options.add_argument('--log-level=3')
        if headless:
            browser_options.add_argument('--headless')
        browser_options.add_argument('--disable-infobars')
        browser_options.add_argument('--disable-dev-shm-usage')
        browser_options.add_argument('--no-sandbox')
        browser_options.add_argument('--remote-debugging-port=9222')
        browser_options.add_argument('--disable-extensions')
        browser = webdriver.Chrome('chromedriver.exe', options=browser_options)
        return browser

Одно истинное решение, которое я нашел для этой проблемы, - это повторная загрузка драйвера chrome, он устраняет проблему, но после 2-3 запусков возвращается в начало и Мне нужно снова загрузить его. Я не хочу продолжать это делать, я не мог найти источник этой проблемы, если кто-то столкнулся и нашел решение для нее, было бы здорово.