Как запустить клиент JavaSparkContext в режиме кластера?

Question

Как запустить режим клиентского кластера JavaSparkContext?Я пытаюсь подключиться к существующему кластеру Spark в режиме кластера (у работников кластера Spark нет сетевого доступа к моей машине, на которой я запускаю код Java) со следующей конфигурацией:

SparkConf conf = new SparkConf().setMaster("spark://spark-prod:7077")
                                    .setAppName("Word Count")
                                    .set("spark.submit.deployMode", "cluster");
    // Create a Java version of the Spark Context
    JavaSparkContext sc = new JavaSparkContext(conf);

, ноклиент игнорирует настройку и запускает драйвер на моем компьютере вместо того, чтобы использовать рабочий:

INFO Utils: Successfully started service 'sparkDriver' on port 45847.

, а рабочие исполнители также пытаются подключиться к драйверу моего компьютера, а не к одному из драйверов рабочего (как должно быть сСвойство spark.submit.deployMode):

"--driver-url" "spark://CoarseGrainedScheduler@my_machine_dns:45847"

Итак, вот вопрос: как запустить клиент JavaSparkContext в spark.submit.deployMode = режим кластера?

Answer 1

Если вы сможете сделать это с помощью команды spark-submit, то вы должны сделать то же самое, используя новый JavaSparkContext (conf), здесь объект conf должен иметь режим кластерного режима, и я считаю, что вам нужно включить соединение между вашей машиной икластер