Как мне загрузить zip-файл в python, используя urllib2? - PullRequest
Новая
       5

Как мне загрузить zip-файл в python, используя urllib2?

30 голосов
/ 27 октября 2010

Вопрос из двух частей. Я пытаюсь загрузить несколько архивных подкастов Cory Doctorow из интернет-архива. Старые, которые не входят в мой канал iTunes. Я написал скрипт, но загруженные файлы не отформатированы должным образом.

Q1 - Что я могу изменить, чтобы скачать zip mp3 файлы? Q2 - Как лучше передать переменные в URL? 

 # and the base url.

def dlfile(file_name,file_mode,base_url):
    from urllib2 import Request, urlopen, URLError, HTTPError

    #create the url and the request
    url = base_url + file_name + mid_url + file_name + end_url 
    req = Request(url)

    # Open the url
    try:
        f = urlopen(req)
        print "downloading " + url

        # Open our local file for writing
        local_file = open(file_name, "wb" + file_mode)
        #Write to our local file
        local_file.write(f.read())
        local_file.close()

    #handle errors
    except HTTPError, e:
        print "HTTP Error:",e.code , url
    except URLError, e:
        print "URL Error:",e.reason , url

# Set the range 
var_range = range(150,153)

# Iterate over image ranges
for index in var_range:

    base_url = 'http://www.archive.org/download/Cory_Doctorow_Podcast_'
    mid_url = '/Cory_Doctorow_Podcast_'
    end_url = '_64kb_mp3.zip'
    #create file name based on known pattern
    file_name =  str(index) 
    dlfile(file_name,"wb",base_url

Этот скрипт был адаптирован с здесь

Ответы [ 2 ]

52 голосов
/ 27 октября 2010

Вот как я буду иметь дело со сборкой и загрузкой URL. Я проверяю имя файла в качестве базового имени URL (последний бит после завершающей косой черты), а также использую предложение with для открытия файла для записи. При этом используется ContextManager , что хорошо, потому что он закроет этот файл при выходе из блока. Кроме того, я использую шаблон для построения строки для URL. urlopen не нужен объект запроса, только строка. 

import os
from urllib2 import urlopen, URLError, HTTPError


def dlfile(url):
    # Open the url
    try:
        f = urlopen(url)
        print "downloading " + url

        # Open our local file for writing
        with open(os.path.basename(url), "wb") as local_file:
            local_file.write(f.read())

    #handle errors
    except HTTPError, e:
        print "HTTP Error:", e.code, url
    except URLError, e:
        print "URL Error:", e.reason, url


def main():
    # Iterate over image ranges
    for index in range(150, 151):
        url = ("http://www.archive.org/download/"
               "Cory_Doctorow_Podcast_%d/"
               "Cory_Doctorow_Podcast_%d_64kb_mp3.zip" %
               (index, index))
        dlfile(url)

if __name__ == '__main__':
    main()
2 голосов
/ 27 октября 2010
...