Если вы знакомы с потоками, то вы рассматриваете каждый узел как поток (до некоторой степени)
Вы отправляете сообщение (работу) на узел, и он выполняет некоторую работу, а затем возвращает вам некоторые результаты.
Подобное поведение между потоком и MPI:
Все они включают разбиение работы и обработку ее отдельно.
Все они будут иметь накладные расходы, когда задействовано больше узлов / потоков, накладные расходы MPI более значительны по сравнению с потоками, передача сообщений вокруг узлов приведет к значительным накладным расходам, если работа не будет аккуратно разбита на разделы, и вы можете получить время передачи сообщений> вычислительные время, необходимое для обработки работы.
Различия в поведении:
У них разные модели памяти, каждый узел MPI не делит память с другими и ничего не знает об остальном мире, если вы не отправите ему что-то.