Python, gevent, urllib2.urlopen.read (), ускоритель загрузки - PullRequest
Новая
       27

Python, gevent, urllib2.urlopen.read (), ускоритель загрузки

3 голосов
/ 26 января 2012

Я пытаюсь создать ускоритель загрузки для Linux.Моя программа использует gevent, os и urllib2.Моя программа получает URL-адрес и пытается загрузить файл одновременно.Весь мой код действителен.Моя единственная проблема заключается в том, что urllib2.urlopen.read () блокирует мне одновременное выполнение функции .read ().

Это исключение, которое мне выдается. 

Traceback (most recent call last):
File "/usr/lib/pymodules/python2.7/gevent/greenlet.py", line 405, in run
result = self._run(*self.args, **self.kwargs)
File "gevent_concurrent_downloader.py", line 94, in childTasklet
_tempRead = handle.read(divisor) # Read/Download part
File "/usr/lib/python2.7/socket.py", line 380, in read
data = self._sock.recv(left)
File "/usr/lib/python2.7/httplib.py", line 561, in read
s = self.fp.read(amt)
File "/usr/lib/python2.7/socket.py", line 380, in read
data = self._sock.recv(left)
File "/usr/lib/pymodules/python2.7/gevent/socket.py", line 407, in recv
wait_read(sock.fileno(), timeout=self.timeout, event=self._read_event)
File "/usr/lib/pymodules/python2.7/gevent/socket.py", line 153, in wait_read
assert event.arg is None, 'This event is already used by another greenlet: %r' % (event.arg, )
AssertionError: This event is already used by another greenlet: (<Greenlet at 0x2304958: childTasklet(<__main__.NewFile object at 0x22c4390>, 4595517, <addinfourl at 37154616 whose fp = <socket._fileob, 459551, 1)>, timeout('timed out',))
<Greenlet at 0x2304ea8: childTasklet(<__main__.NewFile object at 0x22c4390>,4595517, <addinfourl at 37154616 whose fp = <socket._fileob, 7, -1)failed with AssertionError

МойПрограмма работает, получая размер байта файла из URL, вызывая: 

urllib2.urlopen(URL).info().get("Content-Length")

и деля размер файла на делитель, тем самым разбивая процесс загрузки на части.В этом примере я делю загрузку на 10 частей.

Каждый гринлет запускает команду в следующем варианте: 

urllib2.urlopen(URL).read(offset)

Вот ссылка на мой код, размещенный на pastie : http://pastie.org/3253705

СпасибоВам за помощь!

К вашему сведению: я работаю на Ubuntu 11.10.

Ответы [ 2 ]

2 голосов
/ 26 января 2012

Вы пытаетесь прочитать ответ на один запрос из разных гринлетов.

Если вы хотите загрузить один и тот же файл, используя несколько одновременных подключений, вы можете использовать Range http header , если сервер его поддерживает (вместо 206 вы получаете статус 200 для запроса с заголовком Range). См. HTTPRangeHandler.

1 голос
/ 07 февраля 2012

аргумент read - это число байтов, а не смещение.

Кажется, что gevent позволит вам асинхронно вызывать urllib, но не даст вам доступ к одному и тому же ресурсу из нескольких гринлетов.

Кроме того, поскольку он использует wait_read, эффект все равно будет синхронным последовательным чтением из файла (полная противоположность тому, чего вы хотели достичь).

Я бы посоветовал вам перейти ниже или использовать другую библиотеку из urllib2.

...