Сравнение между стандартом MPI и моделью программирования Map-Reduce?

Question

Поскольку я изучил основы различных стандартов параллельной парадигмы, таких как OpenMP, MPI, OpenCL, для написания параллельного программирования. Но я не очень разбираюсь в модели программирования Map-Reduce.

Как известно, различные популярные компании используют модель программирования Map-Reduce для решения своих огромных задач, требующих больших объемов данных. Кроме того, MPI был разработан для высокопроизводительных вычислений как на массивно параллельных машинах, так и на кластерах рабочих станций.

Так что мое первое замешательство это .. Могу ли я использовать модель Map-Reduce вместо стандарта MPI или наоборот? или это зависит от приложений !!

В чем разница между ними?

Which one is better and when?

Answer 1

Map-Reduce можно понимать как подмножество функциональности MPI, так как оно напоминает коллективные операции MPI с пользовательскими функциями.Таким образом, вы можете использовать MPI вместо Map-Reduce, но не наоборот, так как в MPI вы можете описать гораздо больше операций.Основным преимуществом Map-Reduce, по-видимому, является концентрация на этой единой параллельной концепции, что сокращает количество интерфейсов, которые вам необходимо изучить, чтобы использовать его.