Как распаковать очень большие файлы в Python? - PullRequest
Новая
       88

Как распаковать очень большие файлы в Python?

17 голосов
/ 04 декабря 2008

Используя python 2.4 и встроенную библиотеку ZipFile, я не могу читать очень большие zip-файлы (больше 1 или 2 ГБ), потому что он хочет сохранить все содержимое несжатого файла в памяти. Есть ли другой способ сделать это (либо с помощью сторонней библиотеки, либо с помощью другого хака), либо я должен «раскошелиться» и разархивировать его таким образом (что, очевидно, не является кроссплатформенным).

Ответы [ 2 ]

17 голосов
/ 04 декабря 2008

Вот схема распаковки больших файлов. 

import zipfile
import zlib
import os

src = open( doc, "rb" )
zf = zipfile.ZipFile( src )
for m in  zf.infolist():

    # Examine the header
    print m.filename, m.header_offset, m.compress_size, repr(m.extra), repr(m.comment)
    src.seek( m.header_offset )
    src.read( 30 ) # Good to use struct to unpack this.
    nm= src.read( len(m.filename) )
    if len(m.extra) > 0: ex= src.read( len(m.extra) )
    if len(m.comment) > 0: cm= src.read( len(m.comment) ) 

    # Build a decompression object
    decomp= zlib.decompressobj(-15)

    # This can be done with a loop reading blocks
    out= open( m.filename, "wb" )
    result= decomp.decompress( src.read( m.compress_size ) )
    out.write( result )
    result = decomp.flush()
    out.write( result )
    # end of the loop
    out.close()

zf.close()
src.close()
11 голосов
/ 27 февраля 2015

Начиная с Python 2.6, вы можете использовать ZipFile.open(), чтобы открыть дескриптор файла для файла и эффективно скопировать содержимое в целевой файл по вашему выбору: 

import errno
import os
import shutil
import zipfile

TARGETDIR = '/foo/bar/baz'

with open(doc, "rb") as zipsrc:
    zfile = zipfile.ZipFile(zipsrc)
    for member in zfile.infolist():
       target_path = os.path.join(TARGETDIR, member.filename)
       if target_path.endswith('/'):  # folder entry, create
           try:
               os.makedirs(target_path)
           except (OSError, IOError) as err:
               # Windows may complain if the folders already exist
               if err.errno != errno.EEXIST:
                   raise
           continue
       with open(target_path, 'wb') as outfile, zfile.open(member) as infile:
           shutil.copyfileobj(infile, outfile)

При этом используется shutil.copyfileobj() для эффективного чтения данных из открытого объекта zipfile и их копирования в выходной файл.

...