Как запустить программу Spark в Oozie? - PullRequest
0 голосов
/ 26 сентября 2018

Когда я запускаю программу Spark в редакторе Oozie из hue, у меня появляется следующая ошибка:

Время загрузки журнала: Вт 25 сентября 19:30:03 -0300 2018 Длина журнала: 1650 Failing OozieСредство запуска, основной класс [org.apache.oozie.action.hadoop.SparkMain], исключение main (), org / apache / spark / deploy / SparkSubmit java.lang.NoClassDefFoundError: org / apache / spark / deploy / SparkSubmit в org.apache.oozie.action.hadoop.SparkMain.run (SparkMain.java:95) в org.apache.oozie.action.hadoop.LauncherMain.run (LauncherMain.java:47) в org.apache.oozie.action.hadoop.SparkMain.: 43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.oozie.action.hadoop.LauncherMapper.map (LauncherMapper.java:238) в org.apache.hadoop.mapred.MapRunner.run (MapRunner.Java: 54) в org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:459) в org.apache.hadoop.mapred.MapTask.run (MapTask.java:343) в org.apache.hadoop.mapred.YarnChild $ 2.run (YarnChild.java:187) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1778) в org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:180) Причина: java.lang.ClassNotFoundException: org.apache.spark.deploy.SparkSubmit в java.net.URLClassLoader.findClass (URLClassLoader.java:381) в java.lang.ClassLoader.loadClass (ClassLoader.java:424) в sun.misc.Launcher $ AppClassLoader.loadClass (Launcher.java:335) в java.lang.Class.loadClass (ClassLoader.java:357) ... еще 16;

enter image description here

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...