httplib не получает все коды перенаправления - PullRequest
Новая
       15

httplib не получает все коды перенаправления

2 голосов
/ 28 мая 2011

Я пытаюсь получить окончательный URL страницы, которая, кажется, перенаправляет более одного раза.Попробуйте этот пример URL в вашем браузере и сравните его с окончательным URL в нижней части моего фрагмента кода:

Ссылка, которая перенаправляет более одного раза

И вотпроверьте код, который я выполнял, обратите внимание, что окончательный URL-адрес, который получает код 200, отличается от того, что был в вашем браузере.Какие у меня варианты? 

Python 2.7.1+ (r271:86832, Apr 11 2011, 18:13:53)
[GCC 4.5.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import httplib
>>> from urlparse import urlparse
>>> url = 'http://www.usmc.mil/units/hqmc/'
>>> host = urlparse(url)[1]
>>> req = ''.join(urlparse(url)[2:5])
>>> conn = httplib.HTTPConnection(host)
>>> conn.request('HEAD', req)
>>> resp = conn.getresponse()
>>> print resp.status
    301
>>> print resp.msg.dict['location']
    http://www.marines.mil/units/hqmc/

>>> url = 'http://www.marines.mil/units/hqmc/'
>>> host = urlparse(url)[1]
>>> req = ''.join(urlparse(url)[2:5])
>>> conn = httplib.HTTPConnection(host)
>>> conn.request('HEAD', req)
>>> resp = conn.getresponse()
>>> print resp.status
    302
>>> print resp.msg.dict['location']
    http://www.marines.mil/units/hqmc/default.aspx

>>> url = 'http://www.marines.mil/units/hqmc/default.aspx'
>>> host = urlparse(url)[1]
>>> req = ''.join(urlparse(url)[2:5])
>>> conn = httplib.HTTPConnection(host)
>>> conn.request('HEAD', req)
>>> resp = conn.getresponse()
>>> print resp.status
    200
>>> print resp.msg.dict['location']
    Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
    KeyError: 'location'
>>> print url
    http://www.marines.mil/units/hqmc/default.aspx //THIS URL DOES NOT RETURN A 200 IN ANY BROWSER I HAVE TRIED

Ответы [ 2 ]

5 голосов
/ 23 июля 2012

Вы можете использовать HttpLib2 , чтобы получить фактическое местоположение URL: 

import httplib2

def getContentLocation(link):
    h = httplib2.Http(".cache_httplib")
    h.follow_all_redirects = True
    resp = h.request(link, "GET")[0]
    contentLocation = resp['content-location']
    return contentLocation

if __name__ == '__main__':
    link = 'http://podcast.at/podcast_url344476.html'
    print getContentLocation(link)

Исполнение выглядит так: 

$ python2.7 getContentLocation.py
http://keyinvest.podcaster.de/8uhr30.rss

Обратите внимание, что в этом примере также используется кэширование (которое не поддерживается ни urllib, ни httplib). Так что это будет работать многократно значительно быстрее. Это может быть интересно для сканирования / скребка. Если вы не хотите кэшировать, замените h = httplib2.Http(".cache_httplib") на h = httplib2.Http().

3 голосов
/ 28 мая 2011

вы можете попытаться установить заголовок User-Agent на User-Agent вашего браузера.

ps: urllib2 автоматически перенаправляет

EDIT: 

In [2]: import urllib2
In [3]: resp = urllib2.urlopen('http://www.usmc.mil/units/hqmc/')
In [4]: resp.geturl()
Out[4]: 'http://www.marines.mil/units/hqmc/default.aspx
...