Двоичный буфер в Python

Question

В Python вы можете использовать StringIO для файлового буфера для символьных данных. Файл с отображением в памяти в основном делает то же самое для двоичных данных, но для этого требуется файл, который используется в качестве основы. Есть ли в Python файловый объект, предназначенный для двоичных данных и только для памяти, эквивалентный Java ByteArrayOutputStream ?

У меня есть вариант использования: я хочу создать ZIP-файл в памяти, а ZipFile требуется объект в виде файла.

Answer 1

Возможно, вы ищете класс io.BytesIO . Он работает точно так же, как StringIO, за исключением того, что поддерживает двоичные данные:

from io import BytesIO
bio = BytesIO(b"some initial binary data: \x00\x01")

StringIO выдаст ошибку типа:

from io import StringIO
sio = StringIO(b"some initial binary data: \x00\x01")

Answer 2

Пока вы не пытаетесь поместить какие-либо данные Unicode в ваш StringIO и вы осторожны, НЕ используйте cStringIO, с вами все будет в порядке.

Согласно документации StringIO , при условии, что вы используете Unicode или 8 бит, все работает как положено. Предположительно, StringIO делает что-то особенное, когда кто-то делает f.write(u"asdf") (чего, насколько мне известно, ZipFile не делает). Во всяком случае,

import zipfile
import StringIO

s = StringIO.StringIO()
z = zipfile.ZipFile(s, "w")
z.write("test.txt")
z.close()
f = file("x.zip", "w")
f.write(s.getvalue())
s.close()
f.close()

работает так, как ожидалось, и нет разницы между файлом в результирующем архиве и исходным файлом.

Если вам известен конкретный случай, когда этот подход не работает, мне было бы очень интересно услышать об этом:)

Answer 3

Посмотрите на пакет struct: https://docs.python.org/library/struct.html, он позволяет интерпретировать строки как упакованные двоичные данные.

Не уверен, что это полностью ответит на ваш вопрос, но вы можете использовать struct.unpack () для преобразования двоичных данных в объекты Python.

import struct
f = open(filename, "rb")
s = f.read(8)
x, y = struct.unpack(">hl", s)

В этом примере «>» указывает на чтение с прямым порядком байтов, «h» читает 2-байтовое сокращение, а «l» - 4-байтовое. очевидно, вы можете изменить их на все, что вам нужно прочитать из двоичных данных ...