как распаковать много данных msgpack из одного файла - PullRequest
0 голосов
/ 09 октября 2019

Мне интересно, возможно ли распаковать более одного объекта msgpack из файлового чанка?

В приведенном ниже примере кода я записал 2 объекта msgpack в файл, и когда я читаю обратно, если я укажу правильный размер, я могу без проблем распаковать их. Если я полностью прочитал файл, есть ли способ распаковать весь контент в список десериализованного объекта?

Python 3.6.5 |Anaconda, Inc.| (default, Apr 26 2018, 08:42:37) 
[GCC 4.2.1 Compatible Clang 4.0.1 (tags/RELEASE_401/final)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> 
>>> 
>>> import msgpack
>>> d1 = {'a': 1, 'b': 2}
>>> a1 = [1,2,3,4,5]
>>> pack1 = msgpack.packb(d1, use_bin_type=True)
>>> pack2 = msgpack.packb(a1, use_bin_type=True)
>>> size1 = len(pack1)
>>> size2 = len(pack2)
>>> size1
7
>>> size2
6
>>> with open('test.dat', 'wb') as fh:
...     fh.write(pack1)
...     fh.write(pack2)
... 
7
6
>>> fh = open('test.dat', 'rb')
>>> p1 = fh.read(7)
>>> msgpack.unpackb(p1, raw=False)
{'a': 1, 'b': 2}
>>> fh.seek(7)
7
>>> p2 = fh.read(6)
>>> msgpack.unpackb(p2, raw=False, use_list=True)
[1, 2, 3, 4, 5]
>>> fh.seek(0)
0
>>> p = fh.read()
>>> p
b'\x82\xa1a\x01\xa1b\x02\x95\x01\x02\x03\x04\x05'
>>> msgpack.unpackb(p)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "msgpack/_unpacker.pyx", line 208, in msgpack._unpacker.unpackb
msgpack.exceptions.ExtraData: unpack(b) received extra data.
>>> for unp in msgpack.unpackb(p):
...     print(unp)
... 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "msgpack/_unpacker.pyx", line 208, in msgpack._unpacker.unpackb
msgpack.exceptions.ExtraData: unpack(b) received extra data.

Спасибо за ваше время.

1 Ответ

1 голос
/ 09 октября 2019

благодаря комментарию от @hmm, код ниже будет работать:

>>> fh.seek(0)
0
>>> unp = msgpack.Unpacker(fh, raw=False)
>>> for unpacker in unp:
...     print(unpacker)
... 
{'a': 1, 'b': 2}
[1, 2, 3, 4, 5]
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...