Параллельная загрузка файлов

Question

Для загрузки файлов я создаю объект urlopen (класс urllib2) и читаю его кусками.

Я хотел бы подключиться к серверу несколько раз и загрузить файл за шесть разных сеансов. При этом скорость загрузки должна стать быстрее. Многие менеджеры закачек имеют эту функцию.

Я думал об указании части файла, которую я хотел бы загрузить в каждой сессии, и каким-то образом обрабатывал все сессии одновременно. Я не уверен, как мне этого добиться.

Answer 1

В отношении параллельных запросов вы можете использовать urllib3 или запросов .

Мне потребовалось некоторое время, чтобы составить список похожих вопросов:

Поиск [python] +download +concurrent дает следующие интересные:

• Одновременная загрузка - Python
• Какой самый быстрый способ отправки 100 000 HTTP-запросов в Python?
• Библиотека или инструмент для загрузки нескольких файлов в Parallell
• Загрузка нескольких страниц одновременно?
• Python: простая асинхронная загрузка содержимого URL?
• Python, gevent, urllib2.urlopen.read (), ускоритель загрузки
• Python / Urllib2 / Threading: один поток загрузки быстрее, чем несколько потоков загрузки. Почему?
• Очистка целевых страниц списка доменов
• Чистая, легкая альтернатива витой Python?

Ищет [python] +http +concurrent дает эти:

• Python: как сделать несколько запросов HTTP POST за один момент?
• Многопоточный веб-скребок с использованием urlretrieve на сайте с поддержкой файлов cookie

Ищу [python] +urllib2 +slow:

• Python urllib2.open работает медленно, нужен лучший способ прочитать несколько URL
• Python 2.6: параллельный анализ с urllib2
• Как я могу ускорить получение страниц с помощью urllib2 в python?
• Потоковые HTTP-запросы (с прокси)

Ищу [python] +download +many:

• Python, многопоточность, загрузка веб-страниц, загрузка веб-страниц
• Загрузка файлов в витой с использованием очереди
• Python: что-то вроде map, которое работает с потоками
• Вращающиеся прокси для скребков
• Кто-нибудь знает хороший веб-сканер на Python, который я мог бы использовать?

Answer 2

Как мы уже говорили, я сделал такой с помощью PycURL.

Единственное, что мне нужно было сделать, это pycurl_instance.setopt(pycurl_instance.NOSIGNAL, 1), чтобы предотвратить сбои.

Я использовал APScheduler для запуска запросов в отдельных потоках. Благодаря вашим советам изменить ожидание занятости от while True: pass до while True: time.sleep(3) в основном потоке, код ведет себя довольно хорошо, и использование модуля Runner из приложения пакета python-daemon практически готово для использования в качестве типичного демона UN * X.

Answer 3

Похоже, вы хотите использовать один из доступных вариантов HTTP Range .

edit Обновлена ​​ссылка для указания на сохраненный w3.org RFC