Использование mmap для загрузки огромного файла в основную память с помощью чанков - PullRequest
0 голосов
/ 12 февраля 2019

Я пытаюсь загрузить огромный файл через mmap, однако размер файла огромен, и загрузка занимает около 13 минут, я подумал про себя, что должен разделить файл на несколько ядер, которые у меня естьв моей машине.И у каждого ядра будет свой процесс загрузки части данных в основную память.

Теперь проблема в том, как я могу это сделать?,Файл, который я пытаюсь загрузить, записан в двоичном формате.

Я использовал python mmap.Я установил длину файла следующим образом: размер файла / количество ядер, которые я пытался использовать смещение, но я не могу сместить его до размера фрагмента, я также могу сместить его до размера страницы, что вызывает другие проблемы.

...