Могут ли задачи также выполняться на главном узле при выполнении задания Spark в режиме кластера в EMR? - PullRequest
0 голосов
/ 19 октября 2018

Представьте два сценария в EMR:

  1. Запуск задания зажигания в локальном режиме на одном узле.

  2. Запуск одного и того же задания нанебольшой кластер из двух узлов (ведущий и ведомый) в режиме кластера.

Мой вопрос: у этих двух заданий будет одинаковое количество времени для завершения?

Потому что, насколько я понимаю, мастер-узел сам по себе не выполняет никаких задач, это правда?Можно ли «разрешить» запуск задач в главном узле для небольших кластеров?

1 Ответ

0 голосов
/ 02 мая 2019

, чтобы ответить на ваш первый вопрос, в данном сценарии производительность зависит от количества исполнителей, которые вы используете как в одном узле, так и в кластере из двух узлов.

, если нет.Исполнитель останется прежним, в обоих случаях вы получите практически одинаковую производительность.Там будут небольшие различия, потому что в кластере с двумя узлами будет больше затрат на сеть и планировщик, что является абсолютным минимумом.

в кластере с одним узлом, у вас будут работать все драйвер, менеджер кластера и ваши исполнителив том же узле.это означает, что один и тот же узел действует как главный узел и рабочий узел, работает драйвер и исполнители на одной машине и выполняет задачи

...