Совместное использование объекта байтов в Multiprocess SharedMemory в Python3 .8 - PullRequest
Новая
       21

Совместное использование объекта байтов в Multiprocess SharedMemory в Python3 .8

0 голосов
/ 20 апреля 2020

У меня есть большой байтовый объект, который я хотел бы поместить в SharedMemory, чтобы мои многопроцессорные задачи могли получить к нему доступ. Я использую ShareableList, как описано в документах . 

from multiprocessing import shared_memory
s2v_a = Sense2Vec().from_disk(SENSE2VEC_FOLDER)
s2v_a_bytes = s2v_a.to_bytes()
print(sys.getsizeof(s2v_a_bytes)) #prints <class 'bytes'>
print(type(s2v_a_bytes)) #prints 4220733334 (4.2Gb)
memory = shared_memory.ShareableList([s2v_a_bytes])

Однако, когда я пытаюсь создать ShareableList, я получаю AssertionError, что формат не меньше 8. Я могу обратите внимание, что это как-то связано с форматом упаковки структуры . 

Traceback (most recent call last):
  File "/home/chris/anaconda3/envs/uniqueness/lib/python3.8/runpy.py", line 193, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "/home/chris/anaconda3/envs/uniqueness/lib/python3.8/runpy.py", line 86, in _run_code
    exec(code, run_globals)
  File "/home/chris/dev/uniqueness/backend/app/coding.py", line 39, in <module>
    memory = shared_memory.ShareableList([s2v_a_bytes])
  File "/home/chris/anaconda3/envs/uniqueness/lib/python3.8/multiprocessing/shared_memory.py", line 295, in __init__
    assert sum(len(fmt) <= 8 for fmt in _formats) == self._list_len
AssertionError

Комментарий из кода 

Because values are packed into a memoryview as bytes, the struct
    packing format for any storable value must require no more than 8
    characters to describe its format."""

Но я не сделал ничего, кроме документы, насколько я вижу.

...