В каком режиме развертывания мы можем «не» добавлять узлы в кластер в Apache Spark 2.3.1 - PullRequest
0 голосов
/ 27 сентября 2018

В каком режиме развертывания мы можем Не добавить узлы / рабочие в кластер в Apache Spark 2.3.1

1.Spark Standalone 2.Mesos 3.Kubernetes 4.Yarn 5.Локальный режим

Я установил Apache Spark 2.3.1 на мою машину и запустил его в Локальном режиме

в Локальном режиме. Можем ли мы добавить узлы / рабочие элементы в Apache Spark?

1 Ответ

0 голосов
/ 28 сентября 2018

Когда master - Local, ваша программа будет работать на одном компьютере, который является вашим пограничным узлом.Чтобы запустить его в распределенной среде, т.е. в кластере, вам нужно выбрать master как «Yarn».

Когда режим развертывания «client» (по умолчанию), ваш пограничный узел станет master (там, где будет запускаться программа драйвера).Когда режим развертывания «кластерный», любой работоспособный узел из кластера становится главным

...