Я получаю сообщение об ошибке ConnectionReset при загрузке данных с помощью BeautifulSoup, но то же самое работает и с JSoup.
У меня есть опыт использования Jsoup, и я хотел изучить изучение с помощью Python.Я пытаюсь загрузить контент с веб-сайта, используя BeautifulSoup, и получаю следующее сообщение об ошибке:
ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host
Я проверил несколько источников и просыпался от 5 до 10 секунд после каждой загрузки URL, но я все еще получаюошибка для каждых 50-70 хитов.
Я пытался сделать то же самое с помощью JSoup, и он работал отлично.
Может ли кто-нибудь помочь мне, если я что-то упустил.Мой код ниже,
test.py
r = requests.get(url)
data = r.text
soup = BeautifulSoup(data)
f.write(str(soup) + "\n")
print (url)
time.sleep(10)
test.java
Document d = Jsoup.connect(url).method(Method.GET)
.timeout(20000).ignoreContentType(true).ignoreHttpErrors(true)
.execute().parse();