Моя команда Spark / Scala:
spark-submit --class <package_name>.TestConfig --master yarn --deploy-mode cluster --executor-memory 15G --num-executors 60 --executor-cores 3 --driver-memory 15G <s3path>/TestConfig-1.0-hadoop.jar 2000
Вышеприведенная команда отправки с искрой отлично работает из CLI, но не работает при ее запуске из рабочего процесса Oozie.Задание spark завершается сбоем, как только я запускаю рабочий процесс, а рабочий процесс иногда завершается сбоем.
Свойства рабочего процесса Oozie
jar / py Имя: TestConfig-1.0-hadoop.jar
Основной класс: <package_name>.TestConfig
Файл: <s3path>/TestConfig-1.0-hadoop.jar
список опций: --master yarn --deploy-mode cluster --executor-memory 20G --num-executors 60 --executor-cores 3 --driver-memory 15G
Аргументы: 2000
ошибка искры: ERROR ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: org.apache.spark.deploy.SparkHadoopUtil.globPathIfNecessary(Lorg/apache/hadoop/fs/FileSystem;Lorg/apache/hadoop/fs/Path;)Lscala/collection/Seq;
java.lang.NoSuchMethodError: org.apache.spark.deploy.SparkHadoopUtil.globPathIfNecessary(Lorg/apache/hadoop/fs/FileSystem;Lorg/apache/hadoop/fs/Path;)Lscala/collection/Seq;
Ошибка рабочего процесса Oozie: [RMCommunicator Allocator] ERROR org.apache.hadoop.mapreduce.v2.app.rm.RMCommunicator - ERROR IN CONTACTING RM.
java.lang.NullPointerException