Как получить доступ к веб-сайту с прокси-сервером с ограниченным доступом через urllib.request - PullRequest
0 голосов
/ 15 сентября 2018

Я пытаюсь построить скребок селена, который поворачивает свой IP-адрес после каждого n запроса, для этого мне нужно получить доступ к бесплатному прокси-сайту, чтобы составить список IP-адресов: проблема в том, что я выполняю мой код из страны, которая запрещает прокси-сайты, поэтому код не может получить доступ к прокси-сайту и возвращает мне эту ошибку: поднять URLError (err) urllib.error.URLError: ошибка urlopen [Errno 104] Сброс соединения по пиру

Вот моя часть кода, которая пытается получить доступ к https://www.sslproxies.org/ сайту:

ua = UserAgent() # From here we generate a random user agent
proxies = [] # Will contain proxies [ip, port]
proxies_req = Request('https://www.sslproxies.org/')
proxies_req.add_header('User-Agent', ua.random)
proxies_doc = urlopen(proxies_req).read().decode('utf8')
soup = BeautifulSoup(proxies_doc, 'html.parser')
proxies_table = soup.find(id='proxylisttable')

Ошибка возникает из пятой строки:

proxies_doc = urlopen(proxies_req).read().decode('utf8')

есть предложения?

...