Spark Launcher, возвращающий состояние LOST в режиме кластера - PullRequest
Новая
       51

Spark Launcher, возвращающий состояние LOST в режиме кластера

0 голосов
/ 02 апреля 2020

Попытка запустить приложение Spark, которое прекрасно запускается, но я получаю состояние LOST из обработчика. `

SparkAppHandle handler = new SparkLauncher()
                         .setSparkHome(spark_home_path)
                         .setJavaHome(java_home)
                         .setAppName("TEST")
                         .setDeployMode("cluster")
                         .setAppResource(jar_path)
                         .setMainClass(main_class)
                         .setMaster(spark_master_rest_url)
                         .setVerbose(true)
                         .startApplication(new SparkAppHandle.Listener(){
                           @Override
                           public void stateChanged(SparkAppHandle sh){
                           System.out.println(sh.getState() + "is current state");
                           }
                           @Override
                           public void infoChanged(SparkAppHandle sh){
                           System.out.println(sh.getState() + " is info");
                           }
});
     while(!handler.getState().isFinal()){
       System.out.println("Wait:Loop APP_ID : "+handler.getAppId()+" state: "+handler.getState());
       Thread.sleep(10000);
     }

`

Состояние непрерывно печатает LOST и AppId как нулевые, независимо от состояния задания, которое завершено. Может кто-нибудь, пожалуйста, руководство здесь?

...