Библиотека Python в памяти

Question

Существует ли библиотека Python, которая позволяет манипулировать zip-архивами в памяти без необходимости использования реальных файлов на диске?

Библиотека ZipFile не позволяет обновлять архив. Похоже, единственный способ - извлечь его из каталога, внести изменения и создать новый zip-файл из этого каталога. Я хочу изменять zip-архивы без доступа к диску, потому что я буду загружать их, вносить изменения и загружать их снова, поэтому у меня нет причин их хранить.

Нечто похожее на Java ZipInputStream / ZipOutputStream поможет, хотя любой интерфейс, который избегает доступа к диску, подойдет.

Answer 1

Согласно документам Python :

class zipfile.ZipFile(file[, mode[, compression[, allowZip64]]])

  Open a ZIP file, where file can be either a path to a file (a string) or a file-like object. 

Итак, чтобы открыть файл в памяти, просто создайте файлоподобный объект (возможно, используя BytesIO ).

file_like_object = io.BytesIO(my_zip_data)
zipfile_ob = zipfile.ZipFile(file_like_object)

Answer 2

Из статьи In-Memory Zip на Python :

Ниже приведен мой пост за май 2008 года, посвященный архивированию с Python в памяти, опубликованный повторно после закрытия Posterous.

Недавно я заметил, что существует платный компонент для архивирования файлов в памяти с помощью Python. Учитывая, что это должно быть бесплатно, я набросал следующий код. Он прошел только очень базовое тестирование, поэтому, если кто-нибудь обнаружит какие-либо ошибки, дайте мне знать, и я обновлю это.

import zipfile
import StringIO

class InMemoryZip(object):
    def __init__(self):
        # Create the in-memory file-like object
        self.in_memory_zip = StringIO.StringIO()

    def append(self, filename_in_zip, file_contents):
        '''Appends a file with name filename_in_zip and contents of 
        file_contents to the in-memory zip.'''
        # Get a handle to the in-memory zip in append mode
        zf = zipfile.ZipFile(self.in_memory_zip, "a", zipfile.ZIP_DEFLATED, False)

        # Write the file to the in-memory zip
        zf.writestr(filename_in_zip, file_contents)

        # Mark the files as having been created on Windows so that
        # Unix permissions are not inferred as 0000
        for zfile in zf.filelist:
            zfile.create_system = 0        

        return self

    def read(self):
        '''Returns a string with the contents of the in-memory zip.'''
        self.in_memory_zip.seek(0)
        return self.in_memory_zip.read()

    def writetofile(self, filename):
        '''Writes the in-memory zip to a file.'''
        f = file(filename, "w")
        f.write(self.read())
        f.close()

if __name__ == "__main__":
    # Run a test
    imz = InMemoryZip()
    imz.append("test.txt", "Another test").append("test2.txt", "Still another")
    imz.writetofile("test.zip")

Answer 3

В примере, представленном Ethier, есть несколько проблем, некоторые из которых основные:

• не работает для реальных данных в Windows. ZIP-файл является двоичным, и его данные всегда должны быть записаны с открытым файлом 'wb'
• ZIP-файл добавляется для каждого файла, это неэффективно. Его можно просто открыть и сохранить как атрибут InMemoryZip
• В документации указано, что ZIP-файлы должны быть явно закрыты, это не делается в функции добавления (это, вероятно, работает (для примера), поскольку zf выходит за рамки и закрывает ZIP-файл)
• флаг create_system устанавливается для всех файлов в zipfile каждый раз, когда файл добавляется, а не один раз для каждого файла.
• на Python <3 cStringIO намного эффективнее, чем StringIO </li>
• не работает на Python 3 (оригинальная статья была до версии 3.0, но к тому времени, когда код был опубликован, 3.1 уже давно не было).

Обновленная версия доступна, если вы установите ruamel.std.zipfile (автором которой я являюсь). После

pip install ruamel.std.zipfile

или включая код для класса здесь , вы можете сделать:

import ruamel.std.zipfile as zipfile

# Run a test
zipfile.InMemoryZipFile()
imz.append("test.txt", "Another test").append("test2.txt", "Still another")
imz.writetofile("test.zip")  

Вы также можете написать содержимое, используя imz.data, в любое нужное вам место.

Вы также можете использовать оператор with, и если вы укажете имя файла, содержимое ZIP будет записано при выходе из этого контекста:

with zipfile.InMemoryZipFile('test.zip') as imz:
    imz.append("test.txt", "Another test").append("test2.txt", "Still another")

из-за отложенной записи на диск вы можете фактически прочитать из старого test.zip в этом контексте.

Answer 4

PYTHON 3

import io
import zipfile

zip_buffer = io.BytesIO()
with zipfile.ZipFile(zip_buffer, "a", zipfile.ZIP_DEFLATED, False) as zip_file:
    for file_name, data in [('1.txt', io.BytesIO(b'111')), ('2.txt', io.BytesIO(b'222'))]:
        zip_file.writestr(file_name, data.getvalue())
with open('C:/1.zip', 'wb') as f:
    f.write(zip_buffer.getvalue())