Где будет выполняться программа драйвера при выполнении искрового задания в кластерном режиме - PullRequest
1 голос
/ 01 августа 2020

Предположим, у нас есть кластер Yarn с 300 узлами данных + 1 узел имени. Если мы выполним искровое задание в кластерном режиме, то где же будет запускаться программа драйвера? Я прочитал, что программа драйвера будет находиться внутри Application Master в кластерном режиме. Значит ли это, что драйвер будет находиться на любом из 300 узлов данных для этого конкретного задания?

Например, для каждого искрового задания будет создана программа драйвера. Итак, предположим, что первое задание было выполнено в режиме кластера и выбрало 54-й узел данных, чтобы запустить там программу драйвера. Если следующее задание будет выполнено в режиме кластера, будет ли оно выбрано какой-нибудь узел случайных данных в кластере и инициирует там программу драйвера? Кто-нибудь может уточнить?

1 Ответ

1 голос
/ 03 августа 2020

Да, верно, драйвер будет работать на любом из ваших узлов данных.

«В режиме кластера драйвер Spark работает внутри основного процесса приложения, которым управляет YARN в кластере, а клиент может go уйти после запуска приложения. " https://spark.apache.org/docs/2.4.0/running-on-yarn.html

...