MPI_Init () отвечает за инициирование связи с другими процессами, поэтому вы можете вызывать его только один раз, если это возможно. MPI_Finalize () означает, что вы закончили с MPI и больше не будете вызывать функции MPI для остальной части программы.