urllib2.urlopen () против urllib.urlopen () - urllib2 выбрасывает 404, пока работает urllib! ЗАЧЕМ? - PullRequest
Новая
       17

urllib2.urlopen () против urllib.urlopen () - urllib2 выбрасывает 404, пока работает urllib! ЗАЧЕМ?

16 голосов
/ 22 декабря 2009 
import urllib

print urllib.urlopen('http://www.reefgeek.com/equipment/Controllers_&_Monitors/Neptune_Systems_AquaController/Apex_Controller_&_Accessories/').read()

Приведенный выше скрипт работает и возвращает ожидаемые результаты, пока: 

import urllib2

print urllib2.urlopen('http://www.reefgeek.com/equipment/Controllers_&_Monitors/Neptune_Systems_AquaController/Apex_Controller_&_Accessories/').read()

выдает следующую ошибку: 

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.5/urllib2.py", line 124, in urlopen
    return _opener.open(url, data)
  File "/usr/lib/python2.5/urllib2.py", line 387, in open
    response = meth(req, response)
  File "/usr/lib/python2.5/urllib2.py", line 498, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib/python2.5/urllib2.py", line 425, in error
    return self._call_chain(*args)
  File "/usr/lib/python2.5/urllib2.py", line 360, in _call_chain
    result = func(*args)
  File "/usr/lib/python2.5/urllib2.py", line 506, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 404: Not Found

Кто-нибудь знает, почему это так? Я запускаю это с ноутбука в моей домашней сети без настроек прокси - просто прямо с моего ноутбука на маршрутизатор, а затем на www.

1 Ответ

35 голосов
/ 22 декабря 2009

Этот URL действительно приводит к 404, но с большим количеством HTML-контента. urllib2 обрабатывает это (правильно) как условие ошибки. Вы можете восстановить содержимое страницы 404 этого сайта следующим образом: 

import urllib2
try:
    print urllib2.urlopen('http://www.reefgeek.com/equipment/Controllers_&_Monitors/Neptune_Systems_AquaController/Apex_Controller_&_Accessories/').read()
except urllib2.HTTPError, e:
    print e.code
    print e.msg
    print e.headers
    print e.fp.read()
...