время ожидания для urllib2.urlopen () в версиях до Python 2.6 - PullRequest
Новая
       12

время ожидания для urllib2.urlopen () в версиях до Python 2.6

28 голосов
/ 18 января 2010

В документации urllib2 говорится, что в Python 2.6 был добавлен параметр timeout . К сожалению, моя кодовая база работает на платформах Python 2.5 и 2.4.

Есть ли альтернативный способ симуляции тайм-аута? Все, что я хочу сделать, это разрешить коду общаться на удаленном сервере в течение фиксированного периода времени.

Возможно, есть какая-нибудь альтернативная встроенная библиотека? (Не хочу устанавливать стороннюю версию, например, pycurl)

Ответы [ 6 ]

57 голосов
/ 18 января 2010

Вы можете установить глобальное время ожидания для всех операций сокета (включая запросы HTTP), используя:

socket.setdefaulttimeout()

, например: 

import urllib2
import socket
socket.setdefaulttimeout(30)
f = urllib2.urlopen('http://www.python.org/')

в этом случае ваш запрос urllib2 истечет через 30 секунд и выдаст исключение сокета.(это было добавлено в Python 2.3)

4 голосов
/ 29 марта 2012

При значительном раздражении вы можете переопределить класс httplib.HTTPConnection, используемый urllib2.HTTPHandler. 

def urlopen_with_timeout(url, data=None, timeout=None):

  # Create these two helper classes fresh each time, since
  # timeout needs to be in the closure.
  class TimeoutHTTPConnection(httplib.HTTPConnection):
    def connect(self):
      """Connect to the host and port specified in __init__."""
      msg = "getaddrinfo returns an empty list"
      for res in socket.getaddrinfo(self.host, self.port, 0,
                      socket.SOCK_STREAM): 
        af, socktype, proto, canonname, sa = res
        try:
          self.sock = socket.socket(af, socktype, proto)
          if timeout is not None:
            self.sock.settimeout(timeout)
          if self.debuglevel > 0:
            print "connect: (%s, %s)" % (self.host, self.port)
          self.sock.connect(sa)
        except socket.error, msg:
          if self.debuglevel > 0:
            print 'connect fail:', (self.host, self.port)
          if self.sock:
            self.sock.close()
          self.sock = None
          continue
        break
      if not self.sock:
        raise socket.error, msg

  class TimeoutHTTPHandler(urllib2.HTTPHandler):
    http_request = urllib2.AbstractHTTPHandler.do_request_
    def http_open(self, req):
      return self.do_open(TimeoutHTTPConnection, req)

  opener = urllib2.build_opener(TimeoutHTTPHandler)
  opener.open(url, data)
2 голосов
/ 18 января 2010

Я думаю, что ваш лучший выбор - это исправить (или развернуть локальную версию) ваш urllib2 с изменением из ветки обслуживания 2.6

Файл должен быть в /usr/lib/python2.4/urllib2.py (на linux и 2.4)

1 голос
/ 17 апреля 2012

Вы должны установить таймаут в двух местах. 

import urllib2
import socket

socket.setdefaulttimeout(30)
f = urllib2.urlopen('http://www.python.org/', timeout=30)
1 голос
/ 18 января 2010

Я использую httplib из стандартной библиотеки. У него очень простой API, но он обрабатывает только http, как вы можете догадаться. IIUC urllib использует httplib для реализации http.

0 голосов
/ 30 марта 2011

Хорошо, способ обработки тайм-аута в 2.4 или 2.6 одинаков. Если вы откроете файл urllib2.py в версии 2.6, вы увидите, что он принимает дополнительный аргумент в качестве тайм-аута и обрабатывает его с помощью метода socket.defaulttimeout (), как упоминалось в ответе 1.

Так что вам действительно не нужно обновлять ваш urllib2.py в этом случае.

...