Я построил скребок с использованием Selenium 3.141.0 и python 3.6, который использует случайные прокси-серверы для каждого запроса.Я замедлил работу скребка, поэтому он выполняет только один запрос за раз, затем делает паузу на 20 секунд, прежде чем сделать следующий запрос.Когда я запускаю скребок, скрипт завершается из-за нескольких исключений.
Я пытался обработать исключения, но это не работает, так как это происходит несколько раз за один сеанс.Я не уверен, что вызвало это, и я попытался отследить это, но все еще не смог найти ошибку.Любой совет будет принята с благодарностью.Это ошибки, которые я получаю и в этом порядке.
except TimeoutException as e:
print("Time out exception" %e)
except NewConnectionError as e:
print("New connection error %s" %e)
except MaxRetryError as e:
print("Max Retry Error %s" %e)
ConnectionRefusedError: [Errno 111] Соединение отклонено
urllib3.exceptions.NewConnectionError:: Не удалось установить новое соединение: [Errno 111] Соединение отклонено
urllib3.exceptions.MaxRetryError: HTTPConnectionPool (host = '127.0.0.1', port = 44499): максимальное количество повторов превышено с URL