Python: numpy memmap параллельно - PullRequest
1 голос
/ 20 июня 2020

Есть ли смысл использовать numpy memmap на нескольких ядрах (MPI)?

У меня есть файл на диске.

Можно Я создаю отдельный объект memmap на каждом ядре и использую его для чтения различных фрагментов из файла?

А как насчет записи в него?

1 Ответ

1 голос
/ 20 июня 2020

Q : «Имеет ли смысл использовать numpy s memmap для нескольких ядер (MPI)?»

Да (... даже без MPI, используя только Python собственные формы параллельной обработки на основе {thread- | process -})

Q : «Могу ли я создать отдельный memmap -объект на каждом ядре и использовать его для чтения различных фрагментов из файла?»

Да.

Q : «А что насчет того, чтобы писать в него?»

То же (конечно, если был открыт в режиме записи ...)

...