Python: ConnectionError: 'Соединение прервано' при очистке определенных веб-сайтов - PullRequest
Новая
       34

Python: ConnectionError: 'Соединение прервано' при очистке определенных веб-сайтов

0 голосов
/ 22 апреля 2019

Я пытаюсь почистить этот сайт: https://www.footpatrol.com/

Однако, похоже, веб-сайт отрицает мою попытку очистки.

Использование заголовков не помогло. 

from bs4 import BeautifulSoup
import requests

url = "https://www.footpatrol.com/"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
r = requests.get(url, headers = headers)
data = r.text
soup = BeautifulSoup(data, 'lxml')

for a in soup.find_all():
    print(a)

Это приводит к тому, что я получаю ConnectionError, как я могу исправить свой код, чтобы я мог очистить сайт?

1 Ответ

1 голос
/ 22 апреля 2019

Я могу получить ответ, изменив User Agent на: 

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}

, и также работает следующий User Agent: 

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}

Кажется, что версия Chromeвиновник в вашем пользовательском агенте.

...