Максимальное количество попыток превышено с помощью URL: / Вызвано ProxyError - PullRequest
Новая
       64

Максимальное количество попыток превышено с помощью URL: / Вызвано ProxyError

0 голосов
/ 29 января 2020

Я хотел бы получить список прокси с этой веб-страницы; https://free-proxy-list.net/ но я застрял в этой ошибке и не знаю, как ее исправить.

reports.exceptions.ProxyError: HTTPSConnectionPool (host = 'free-proxy-list. net ', порт = 443): максимальное количество повторных попыток превышено с помощью url: / (вызвано ProxyError (' Не удается подключиться к прокси. ', NewConnectionError (': не удалось установить sh новое соединение: [WinError 10060] Попытка подключения не удалось, потому что подключенная сторона не ответила должным образом через определенный промежуток времени, или не удалось установить соединение, поскольку подключенный хост не смог ответить ')))

и, кстати, это мой связанный код: 

import urllib
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
ua = UserAgent(cache=False)
header = {
    "User-Agent": str(ua.msie)
    }
proxy = {
    "https": "http://95.66.151.101:8080"
}
urls = "https://free-proxy-list.net/"
res = requests.get(urls, proxies=proxy)
soup = BeautifulSoup(res.text,'lxml')

и я попытался удалить другие веб-сайты, но понял, что это не так.

1 Ответ

0 голосов
/ 29 января 2020

Я никогда не видел модуль fake_useragent и не знаю, для чего он, но я удалил его. Также не знаю, почему вы добавили эти элементы заголовка, но я не верю, что это необходимо для описанной вами задачи. Глядя на html в вашей ссылке, прокси находятся в section id="list"-->div class="container"--> <tbody>. Приведенный ниже код дает все элементы в указанной области и включает в себя все прокси. Вы можете изменить это, если хотите получить более подробную информацию c. 

import urllib
import requests
from bs4 import BeautifulSoup

urls = "https://free-proxy-list.net/"
res = requests.get(urls)
soup = BeautifulSoup(res.text,"html.parser")


tbody = soup.find("tbody")

print(tbody.prettify())
...