почему urllib.urlopen (url) завершается ошибкой, а urllib2.urlopen (url) работает. Что конкретно в ответе сервера вызывает это?

Question

Я просто хочу лучше понять, что здесь происходит, я, конечно, могу "обойти" проблему, используя urllib2

import urllib
import urllib2

url = "http://www.crutchfield.com/S-pqvJFyfA8KG/p_15410415/Dynamat-10415-Xtreme-Speaker-Kit.html"

# urllib2 works fine (foo.headers / foo.read() also behave)
foo = urllib2.urlopen(url)

# urllib throws errors though, what specifically is causing this?
bar = urllib.urlopen(url)

http://pae.st/AxDW/ показывает этот код в действии с исключением / трассировкой стека. foo.headers и foo.read() отлично работают

stu@sente.cc ~ $ : curl -I "http://www.crutchfield.com/S-pqvJFyfA8KG/p_15410415/Dynamat-10415-Xtreme-Speaker-Kit.html"

HTTP/1.1 302 Object Moved
Cache-Control: private
Transfer-Encoding: chunked
Content-Type: text/html; charset=utf-8
Location: /S-FSTWJcduy5w/p_15410415/Dynamat-10415-Xtreme-Speaker-Kit.html
Server: Microsoft-IIS/7.5
Set-Cookie: SESSIONID=FSTWJcduy5w; domain=.crutchfield.com; expires=Fri, 22-Feb-2013 22:06:43 GMT; path=/
Set-Cookie: SYSTEMID=0; domain=.crutchfield.com; expires=Fri, 22-Feb-2013 22:06:43 GMT; path=/
Set-Cookie: SESSIONDATE=02/23/2012 17:07:00; domain=.crutchfield.com; expires=Fri, 22-Feb-2013 22:06:43 GMT; path=/
X-AspNet-Version: 4.0.30319
HostName: cws105
Date: Thu, 23 Feb 2012 22:06:43 GMT

Спасибо.

Answer 1

Этот сервер является недетерминированным и чувствительным к версии HTTP. urllib2 - это HTTP / 1.1, urllib - это HTTP / 1.0. Вы можете воспроизвести это, выполнив curl --http1.0 -I "http://www.crutchfield.com/S-pqvJFyfA8KG/p_15410415/Dynamat-10415-Xtreme-Speaker-Kit.html" несколько раз подряд. Вы должны иногда видеть вывод curl: (52) Empty reply from server; это ошибка urllib сообщает. (Если вы повторно отправляете запрос с помощью urllib, иногда он должен выполняться успешно.)

Answer 2

Я решил проблему. Я просто использую теперь urrlib вместо urllib2, и все работает отлично, спасибо всем :))