Springboot искровая пряжа - PullRequest
Новая
       4

Springboot искровая пряжа

1 голос
/ 11 марта 2019

Я новичок в Spark, и я пытаюсь отправить свое весеннее искровое приложение в кластер пряжи.Конфигурация искры инициализируется весной, но она не получает детали пряжи при отправке, и она всегда указывает на локальную.Я знаю, что отсутствует какая-либо конфигурация для установки.

Используемый код показан ниже: 

SparkConf sparkconf = new SparkConf().setAppName("app name")
                    .set("spark.port.maxRetries", "100")
                    .set("spark.ui.port", "4060")
                    .set("spark.executor.memory", "7g")
                    .set("spark.executor.cores", "2")
                    .set("SPARK_YARN_MODE", "true")
                    .setSparkHome("spark home directory")
                    .set("SPARK_JAR_HDFS_PATH", "directory of spark-assembly.jar")
                    .set("SPARK_CONF_DIR", "config directory")
                    .setMaster("yarn-client");

Зарегистрируйте, как показано ниже, где он пытается работать как в локальном режиме, [oahycRMProxy: 56] Подключение к ResourceManager по адресу /0.0.0.0:8032

Config used,
conf.addResource(new Path(filepath+ "/hbase-site.xml"));
            conf.addResource(new Path(filepath+ "/core-site.xml"));
            conf.addResource(new Path(filepath+ "/hdfs-site.xml"));
            conf.addResource(new Path(filepath+ "/yarn-site.xml"));
...