Каждый ранг имеет свою собственную копию данных. Обычно они выполняются в отдельных процессах и поэтому не разделяют виртуальное адресное пространство.
Реализации, такие как Adaptive MPI и Phoenix , ставят несколько потоков в потоки в общем процессе, но они предпринимают шаги для изоляции каждого ранга, так что он думает, что он работает как отдельный процесс.