Класс org.apache.oozie.action.hadoop.SparkMain не найден - PullRequest
Новая
       55

Класс org.apache.oozie.action.hadoop.SparkMain не найден

0 голосов
/ 22 мая 2019

ниже приведены все файлы oozie, которые я использовал для запуска задания. Я создал папку в hdfs / test / jar и поместил файлы workflow.xml иordinator.xml.

Файл свойств 

nameNode=hdfs://host:8020
jobTracker=host:8050
queueName=default
oozie.use.system.lib.path=trueoozie.coord.application.path=${nameNode}/test/jar/coordinator.xml
oozie.action.sharelib.for.spark=spark2
start=2019-05-22T07:37Z
end=2019-05-22T07:40Z
freq=*/1 * * * *
zone=UTC
user.name=oozie
oozie.action.sharelib.for.spark.exclusion=oozie/jackson
#oozie.libpath=${nameNode}/user/oozie/share/lib

Файл координатора 

<coordinator-app xmlns = "uri:oozie:coordinator:0.5" name = "test" frequency = "${freq}" start = "${start}" end = "${end}" timezone = "${zone}">
   <controls>
      <timeout>1</timeout>
   </controls>
   <action>
      <workflow>
         <app-path>${nameNode}/test/jar/workflow.xml</app-path>
      </workflow>
   </action>
</coordinator-app>

Файл рабочего процесса 

<workflow-app name="sample-wf" xmlns="uri:oozie:workflow:0.5">
 <start to="test" />
    <action name="test">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>yarn</master>
            <mode>cluster</mode>
            <name>Spark Example</name>
            <class>com.spark.excel.mysql.executor.Executor</class>
            <jar>${nameNode}/test/jar/com.spark.excel.mysql-0.1.jar</jar>
            <spark-opts>--executor-memory 2G --num-executors 2</spark-opts>
        </spark>
        <ok to="end"/>
        <error to="fail"/>
    </action>
 <kill name="fail">
            <message>Workflow failed, error message [${wf:errorMessage(wf:lastErrorNode())}]</message>
 </kill>
  <end name="end" />
</workflow-app>

У меня также есть настройка пути sharelib. Oozie также отображает spark2 через shareliblist и добавляет файл oozie-sharelib-spark.jar также в spark2.Ozzie - также отправка и запуск, но когда он пытается выполнить работу spark, возникает ошибка.

...