Я пытаюсь собрать информацию о ценах на сайте Carrefour с помощью следующего кода
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
}
link = 'https://www.carrefour.es/extensor-tp-link-rango-75/366506176/p'
response = requests.get(link, headers=headers, timeout=60)
# Following lines parse response with Beautifulsoup
Этот код заканчивается ошибкой «Соединение прервано». Сообщение об ошибке по-разному отображается в Linux и Windows
При запуске в AWS (Ubuntu) всегда выдается ошибка с сообщением ниже
requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine("''",))
Во время работы на моем ПК (Win10), иногда это работает правильно, иногда возникает ошибка с сообщением ниже
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))
Полагаю, это не связано с ограничением IP-адресов или User-Agent: хотя сценарий не приводит к соединению, я все равно могу перейти по ссылке, используя мой компьютер (Win10) с тем же IP-адресом и User-Agent.
Я заблокирован? Какова возможная причина блокировки?