Искра производительности: 2 узла m5,2xlarge против 1 узла m5,4xlarge - PullRequest
1 голос
/ 08 мая 2020

Будет ли разница в производительности, если я запущу искру на 2 подчиненных узлах m5.2xlarge против 1 подчиненного узла на m5.4x large?

С одной стороны, я бы сказал, что это не будет иметь никакого значения, поскольку в конечном итоге они имеют одинаковый размер (в оперативной памяти и процессоре). С другой стороны, я бы сказал / мог бы сказать, что перетасовка данных между экземплярами занимает некоторое (миллисекунды?) Время, поэтому использование одного экземпляра будет работать лучше, чем использование двух экземпляров половинного размера.

1 Ответ

0 голосов
/ 09 мая 2020

Во времена AWS S3 и AZURE Хранилище BLOB-объектов, которое является эластичным c вычислением в отличие от «голого металла», технически я не вижу в этом примере разницы, если только 1) вы не рассматриваете отказ узла / рабочего, и 2) у вас есть как минимум удвоенный размер локального диска - о котором вы не забыли упомянуть - для перемешивания / промежуточных этапов заданий.

Это может дать дополнительную информацию.

...