Почему для систем MPP требуется специальное оборудование? - PullRequest
0 голосов
/ 23 июня 2018

Почему для систем MPP, таких как Amazon Redshift, требуется специальное оборудование.Почему они не могут работать на готовом оборудовании?Принимая во внимание, что системы карты-сокращения естественно работают на стандартном оборудовании.

1 Ответ

0 голосов
/ 24 июня 2018

A массивно параллельная система не обязательно требует специального оборудования. Википедия включает грид-вычисления в качестве типа MPP, а грид-вычисления предназначены для работы на случайных готовых системах (BOINC, Folding @ Home и т. Д.)

Вы специально упомянули идею фреймворка MapReduce .Первоначальная реализация Google (и те, которые последовали за ней) была разработана специально для того, чтобы хорошо работать на обычном оборудовании.MapReduce работает в пределах своих ограничений, таких как сбои узлов, ограниченная связь между узлами и т. Д.Важно отметить, что виды работ, которые вы можете запускать в MapReduce, узко ограничены.У вас есть шаг карты, и у вас есть шаг сокращения;оба эти этапа включают отсутствие связи между узлами .Вы не можете позволить всем рабочим сплетничать друг с другом!

Однако другие разновидности MPP имеют требования, выходящие за рамки базового аппаратного обеспечения.Например, массивно параллельные процессорные массивы - это специализированные интегральные микросхемы с очень большим количеством ядер, расположенные таким образом, чтобы ядра могли иметь высокоскоростные межсоединения с малой задержкой и другими ядрами.

Вы не моглине делайте этого на стандартном компьютере;число ядер на чип намного ниже, и ядра взаимодействуют по-разному (обычно работают с большим двоичным объектом общей памяти).

...