Иногда Chrome веб-драйвер не загружает ссылку с использованием Selenium Python - PullRequest
Новая
       127

Иногда Chrome веб-драйвер не загружает ссылку с использованием Selenium Python

0 голосов
/ 06 августа 2020

надеюсь, вы все в порядке. Я открываю ссылку, используя этот код, 

def load_url():
    driver = webdriver.Chrome()
    driver.get(url)

def scrap_matches(urls):
    for url in urls:
        load_url(url)

Пример использования: я использую список URL-адресов и передаю их по одному в функцию load_url.

I ' m с использованием многопоточности, т.е. есть 4 потока, и каждый поток работает со списком URL-адресов, например, 

# part_1 and part_2 are the lists.
t1 = threading.Thread(target=scrap_matches, args=(part_1,))
t2 = threading.Thread(target=scrap_matches, args=(part_2,))

t1.start()
t2.start()
t1.join()
t2.join()

Иногда открывается пустая вкладка chrome без загрузки содержимого страницы. Ссылка присутствует в части ссылки chrome. Когда я обновляю эту вкладку вручную, сайт успешно загружается. Мне нужно избегать этой ситуации. Я искал об этом, но не смог найти удовлетворительного ответа.

...