Метод, не разрешенный в Python 3 с использованием urllib2 - PullRequest
Новая
       33

Метод, не разрешенный в Python 3 с использованием urllib2

0 голосов
/ 26 мая 2018 
    from bs4 import BeautifulSoup
    import urllib.request as urllib2

    url="http://www.scmp.com/news/world"
    page = urllib2.urlopen(url)

    soup = BeautifulSoup(page, "html.parser")

    item = soup.find_all("h3", _class="node-title lvl_24-title")

    print(item)

Этот код Выдает ошибку метода, которая не разрешена только для этого URL, тот же код работает нормально с большинством URL-адресов, которые я пытаюсь.Ниже приведено полное сообщение об ошибке 

    Traceback (most recent call last):
    File "E:/Scrappers/test11.py", line 6, in <module>
    page = urllib2.urlopen(url)
    File "C:\Program Files (x86)\Python36-32\lib\urllib\request.py", line 
    223, in urlopen
    return opener.open(url, data, timeout)
    File "C:\Program Files (x86)\Python36-32\lib\urllib\request.py", line 
    532, in open
    response = meth(req, response)
    File "C:\Program Files (x86)\Python36-32\lib\urllib\request.py", line 
    642, in http_response
    'http', request, response, code, msg, hdrs)
    File "C:\Program Files (x86)\Python36-32\lib\urllib\request.py", line 
    570, in error
    return self._call_chain(*args)
    File "C:\Program Files (x86)\Python36-32\lib\urllib\request.py", line 
    504, in _call_chain
    result = func(*args)
    File "C:\Program Files (x86)\Python36-32\lib\urllib\request.py", line 
    650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
    urllib.error.HTTPError: HTTP Error 405: Method Not Allowed

1 Ответ

0 голосов
/ 26 мая 2018

Этот вопрос является возможной копией HTTPError .

Вы были обнаружены как бот в связи с не указанием User-Agent в вашем запросе urlopen.Могу я предложить менее болезненную библиотеку «запросов»? 

import requests
from bs4 import BeautifulSoup
#Specify some headers. urlopen uses "Python-urllib" as a header, which makes you seem like a bot.
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}
url = 'http://www.scmp.com/news/world'
page = requests.get(url,headers=headers)
soup = BeautifulSoup(page.content,'lxml')

и вуаля!У тебя есть суп, чтобы поиграть с ним.

...