Выполнение HTTP-запроса HEAD с помощью urllib2 из Python 2 - PullRequest
Новая
       24

Выполнение HTTP-запроса HEAD с помощью urllib2 из Python 2

23 голосов
/ 12 декабря 2010

Я пытаюсь выполнить HEAD-запрос страницы, используя Python 2.

Я пытаюсь 

import misc_urllib2
.....
opender = urllib2.build_opener([misc_urllib2.MyHTTPRedirectHandler(), misc_urllib2.HeadRequest()])

с misc_urllib2.py, содержащим 

class HeadRequest(urllib2.Request):
    def get_method(self):
        return "HEAD"


class MyHTTPRedirectHandler(urllib2.HTTPRedirectHandler):
    def __init__ (self):
        self.redirects = []

    def http_error_301(self, req, fp, code, msg, headers):  
        result = urllib2.HTTPRedirectHandler.http_error_301(
                self, req, fp, code, msg, headers)
        result.redirect_code = code
        return result

    http_error_302 = http_error_303 = http_error_307 = http_error_301

Но я получаю 

TypeError: __init__() takes at least 2 arguments (1 given)

Если я просто сделаю 

opender = urllib2.build_opener(misc_urllib2.MyHTTPRedirectHandler())

тогда работает нормально

Ответы [ 4 ]

57 голосов
/ 12 декабря 2010

Это прекрасно работает: 

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
print response.info()

Протестировано с быстрым и грязным HTTPd, взломанным в python: 

Server: BaseHTTP/0.3 Python/2.6.6
Date: Sun, 12 Dec 2010 11:52:33 GMT
Content-type: text/html
X-REQUEST_METHOD: HEAD

Я добавил настраиваемое поле заголовка X-REQUEST_METHOD, чтобы показать, что оно работает:)

Вот журнал HTTPd: 

Sun Dec 12 12:52:28 2010 Server Starts - localhost:8080
localhost.localdomain - - [12/Dec/2010 12:52:33] "HEAD / HTTP/1.1" 200 -

Редактировать: есть также httplib2 

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
1 голос
/ 12 декабря 2010

Попробуйте httplib 

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

См. Как отправить HTTP-запрос HEAD в Python 2?

0 голосов
/ 14 июня 2017

Вы не должны добавлять HeadRequest к build_opener или add_handler, это должно называться следующим образом 

opener = urllib2.build_opener(MyHTTPRedirectHandler)
response = opener.open(HeadRequest(url))
print response.getheaders()
0 голосов
/ 12 декабря 2010

Проблема заключается в вашем классе HeadRequest, который наследуется от urllib2.Request. Согласно документу, urllib2.Request.__init__ подпись 

 __init__(self, url, data=None, headers={}, origin_req_host=None, unverifiable=False)

поэтому вы должны передать ему аргумент url. Во второй попытке вы просто не используете HeadRequest, поэтому он работает.

...