В Прекрасном супе не работает веб-скребок

Question

Вот мой код, простой запрос на китайский веб-сайт:

import requests
from bs4 import BeautifulSoup

url = 'http://gujia.oilchem.net/l/p.do?productName=%E6%B1%BD%E6%B2%B9&area=%E5%85%A8%E5%9B%BD'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}

response = requests.get(url, headers=headers, timeout=(20,20), verify=False)

print(response.content)

, но я продолжаю возвращать эту трассировку / ошибка:

Traceback (самая последняяпоследний вызов):

Файл "", строка 1, в исполняемом файле ('F: /Python/WebScrapes/OilChemScrapes.py', wdir = 'F: / Python / WebScrapes')

Файл "C: \ Users \ tliu210 \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ spyder \ utils \ site \ sitecustomize.py", строка 705, в исполняемом файле исполняемого файла (имя файла, пространство имен)

Файл "C: \ Users \ tliu210 \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ spyder \ utils \ site \ sitecustomize.py", строка 102, в execfile exec (компилировать (f.read (),имя_файла, 'exec'), пространство имен)

Файл "F: /Python/WebScrapes/OilChemScrapes.py", строка 15, в ответе = request.get (url, headers = headers, timeout = (20,20), verify = False)

Файл "C: \ Users \ tliu210 \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ запросы \ api.py", строка 72, в запросе на получение возврата('get', url, params = params, ** kwargs)

Файл "C: \ Users \ tliu210 \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ запросы \ api.py", строка 58, в запросе возвращает session.request (method = method, url = url,** kwargs)

Файл "C: \ Users \ tliu210 \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ запросы \ sessions.py", строка 508, в запросе resp = self.send(prep, ** send_kwargs)

Файл "C: \ Users \ tliu210 \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ запросы \ sessions.py", строка 618, в send r =adaptor.send (запрос, ** kwargs)

Файл "C: \ Users \ tliu210 \ AppData \ Local \ Continuum \ anaconda3 \ lib \ site-packages \ запросы \ adapters.py", строка 490, вОтправить сообщение ConnectionError (ошибка, запрос = запрос)

ConnectionError: ('Соединение прервано.', RemoteDisconnected ('Соединение с удаленным концом закрыто без ответа',))

Я даже пыталсяразные версии Chrome в шапке

Любая помощь будет оценена

Answer 1

Возможно, проблема в неправильном заголовке User-agent.Из документации заголовок должен выглядеть примерно так:

Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0