Ошибка «Соединение прервано» при использовании запросов Python - PullRequest
0 голосов
/ 03 сентября 2018

Я пытаюсь собрать информацию о ценах на сайте Carrefour с помощью следующего кода

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }
link = 'https://www.carrefour.es/extensor-tp-link-rango-75/366506176/p'
response = requests.get(link, headers=headers, timeout=60)
# Following lines parse response with Beautifulsoup

Этот код заканчивается ошибкой «Соединение прервано». Сообщение об ошибке по-разному отображается в Linux и Windows

При запуске в AWS (Ubuntu) всегда выдается ошибка с сообщением ниже

requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine("''",))

Во время работы на моем ПК (Win10), иногда это работает правильно, иногда возникает ошибка с сообщением ниже

requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))

Полагаю, это не связано с ограничением IP-адресов или User-Agent: хотя сценарий не приводит к соединению, я все равно могу перейти по ссылке, используя мой компьютер (Win10) с тем же IP-адресом и User-Agent.

Я заблокирован? Какова возможная причина блокировки?

...