Почему моя программа перестает загружать очень большие файлы перед завершением полной загрузки?

Question

Я использую этот метод для загрузки файлов с некоторых http-ссылок.Размер файлов обычно превышает 20 гигабайт, и программа, кажется, работает правильно, но затем переходит к следующей функции перед завершением.

import urllib2
import os
def saveFile(url):
    print url
    file_name = url.split('/')[-1]
    #check if the file was already downloaded previously to save time
    if os.path.isfile(file_name):
        print("File already exists, skipping download...")
        return file_name
    u = urllib2.urlopen(url)
    f = open(file_name, 'wb')
    meta = u.info()
    file_size = int(meta.getheaders("Content-Length")[0])
    print "Downloading: %s Bytes: %s" % (file_name, file_size)

    file_size_dl = 0
    block_sz = 8192
    while True:
        buffer = u.read(block_sz)
        if not buffer:
            break

        file_size_dl += len(buffer)
        f.write(buffer)
        status = r"%10d  [%3.2f%%]" % (file_size_dl, file_size_dl * 100. / file_size)
        status = status + chr(8)*(len(status)+1)
        print status,    
    f.close()
    return file_name

Answer 1

Вы проверяли диспетчер процессов?Может быть, память была занята за пределы и OutOfMemoryError произошло.