Я новичок в модуле запросов и пытаюсь почистить данные с сайта аукциона.Это требует от меня, чтобы отправить много запросов.get (...).В большинстве случаев он работает нормально, но из-за проблем с сетью иногда происходит сбой и происходит сбой всей моей программы.
Ошибка:
A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
Я использую цикл for для повторных попыток, и это делает мою программу более устойчивой, но в какой-то момент она все еще не работает.
Вот мой код:
def connect(link)
for i in range(5):
try:
return requests.get(link, proxies = {'http': None}).text
except Exception as connecting_error:
time.sleep(5)
continue
page = connect(link)
soup = BeautifulSoup(page, 'html.parser')
Поскольку connect () возвращает None, то есть он вышел из цикла, он вызывает TypeError, когда я пытаюсь создать супобъект?Должен ли я поставить это в цикл в то время как?Любое предложение, пожалуйста?
Спасибо.