Получение Job Launcher ClassName не устанавливается ошибка на E-Mapreduce

Question

Я пытаюсь запустить задание Spark и SparkSQL из консоли рабочего процесса Alibaba E-MapReduce.

Я пытаюсь выполнить следующую команду:

--master yarn-client --driver-memory 7g --num-executors 10 --executor-memory 5g --executor-cores 1 --jars ossref://emr/checklist/jars/emr-core-0.1.0.jar ossref://emr/checklist/python/wordcount.py oss://emr/checklist/data/kddb 5 32

Получение следующей ошибки:

Вт. 18 июня 10:48:58 CST 2019 [LocalJobLauncherAM] ИНФОРМАЦИЯ Запуск emr поток запуска am ... ================= НАСТРОЙКА ПЕЧАТИ RUNTIME ENV НАЧАЛО =================

== Свойства системы ============

java.runtime.name = среда выполнения OpenJDK
sun.boot.library.path = / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / amd64 java.vm.version = 25.151-b12 java.vm.vendor = Oracle Corporation
java.vendor.url = http://java.oracle.com/ path.separator =:
java.vm.name = OpenJDK 64-битная виртуальная машина сервера file.encoding.pkg = sun.io
user.country = US sun.java.launcher = SUN_STANDARD
sun.os.patch.level = неизвестно java.vm.specification.name = Java Virtual Спецификация машины
user.dir = / шоссе / disk1 / флоу-агент / локального RM / LocalApplication_1560824463304_2 / container_1560824463304_2_01_000001 java.runtime.version = 1.8.0_151-b12 * * тысячу двадцать-один java.awt.graphicsenv = sun.awt.X11GraphicsEnvironment
java.endorsed.dirs = / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / одобрила os.arch = amd64 java.io.tmpdir = tmp line.separator =

java.vm.specification.vendor = Oracle Corporation os.name = Linux
sun.jnu.encoding = UTF-8 emr.flow.user = hadoop
java.library.path = / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / amd64 / сервер: / USR / Библиотека / JVM / Java- 1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / amd64: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64 /jre/../lib/amd64:/lib64:/usr/lib/hadoop-current/lib/native/::/usr/lib/jvm/java-1.8.0/jre/lib/amd64/server:/ USR / Lib / Hadoop тока / Lib / родной: / USR / Java / пакеты / Библиотека / amd64: / USR / lib64: / lib64: / Библиотека: / USR / Lib java.specification.name = Спецификация API платформы Java
java.class.version = 52.0 sun.management.compiler = HotSpot 64-разрядная версия Многоуровневые компиляторы os.version = 3.10.0-693.2.2.el7.x86_64
user.home = / home / hadoop user.timezone = Азия / Шанхай
java.awt.printerjob = sun.print.PSPrinterJob file.encoding = UTF-8
java.specification.version = 1.8 flow.job.id = FJI-F6D6115A3E436AAC_0
java.class.path = launcher.jar user.name = hadoop
flow.job.result.local.dir = / мнт / disk1 / флоу-агент / Job-результаты
flow.job.launcher.class.name = com.aliyun.emr.flow.agent.jobs.launcher.impl.SparkSqlJobLauncherImpl java.vm.specification.version = 1,8
sun.java.command = com.aliyun.emr.flow.agent.jobs.launcher.local.LocalJobLauncherAM java.home = / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE sun.arch.data.model = 64 user.language = ru
java.specification.vendor = Oracle Corporation
awt.toolkit = sun.awt.X11.XToolkit java.vm.info = смешанный режим
java.version = 1.8.0_151
java.ext.dirs = / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / внеш: / USR / Java / пакеты / Библиотека / внутр sun.boot.class.path = / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / resources.jar: / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / rt.jar: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12 .el7_4.x86_64 / JRE / Библиотека / sunrsasign.jar: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64/jre/lib/jsse.jar: / USR /lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64/jre/lib/jce.jar:/usr/lib/jvm/java-1.8.0-openjdk-1.8. 0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / charsets.jar: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64/jre/lib/jfr .jar: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64/jre/classes java.vendor = Oracle Corporation file.separator = /
java.vendor.url.bug = http://bugreport.sun.com/bugreport/
flow.job.meta.data.path = job.metadata
sun.io.unicode.encoding = UnicodeLittle sun.cpu.endian = little
sun.cpu.isalist =

== Система Env ===================

* Тысяча сорок-семь * PATH = / USR / Lib / искровым ток / бен: / USR / Библиотека / аналитика-зоопарк / бен: / USR / Библиотека / анаконды / бен: / USR / местные / бен: / бен: / USR / бен : / USR / местные / SBIN: / USR / SBIN: / USR / Библиотека / поток агента тока / бен: / USR / Библиотека / Hadoop-ток / бен: / USR / Библиотека / Hadoop тока / SBIN: / USR /lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/home/hadoop/.local/ бен: / Главная / Hadoop / бен HADOOP_CONF_DIR = / etc / ecm / hadoop-conf HISTCONTROL = ignoredups

FLOW_AGENT_HOME = / USR / Библиотека / поток агент ток * * тысяча сорок-девять JAVA_LIBRARY_PATH = / USR / Lib / Hadoop тока / Lib / родной: / USR / Lib / Hadoop тока / Lib / родной: HISTSIZE = 1000 JAVA_HOME = / usr / lib / jvm / java-1.8.0
ZOOCFGDIR = / etc / ecm / zookeeper-conf TERM = неизвестно
XFILESEARCHPATH = / USR / дт / приложение-умолчанию /% L / Dt
HADOOP_PID_DIR = / usr / lib / hadoop-current / pids LANG = en_US.UTF-8
XDG_SESSION_ID = C76
HADOOP_CLASSPATH = / Opt / приложение / экстра-банка / : / USR / Lib / искровой ток / нить / искровой 2.3.2-нить-shuffle.jar: / Opt / приложение / экстра-банка / MAIL = / var / spool / mail / hadoop SPARK_HOME = / usr / lib / spark-current
ANALYTICS_ZOO_HOME = / USR / Библиотека / аналитика-зоопарк
LD_LIBRARY_PATH = / USR / Библиотека / JVM / Java-1.8.0-OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / amd64 / сервер: /usr/lib/jvm/java-1.8.0- OpenJDK-1.8.0.151-1.b12.el7_4.x86_64 / JRE / Библиотека / amd64: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64/jre/. ./lib/amd64:/lib64:/usr/lib/hadoop-current/lib/native/::/usr/lib/jvm/java-1.8.0/jre/lib/amd64/server:/usr/lib/ Hadoop тока / Lib / родной YARN_LOG_DIR = / var / log / hadoop-yarn JVMFLAGS = -verbose: gc -XX: + PrintGCDetails -XX: + PrintGCTimeStamps -XX: + PrintGCDateStamps -XX: + UseGCLogFileRotation -XX: NumberOfGCLogFiles = 5 -XX: GCLogFileSize = 128M -Xloggc: /mnt/disk1/logzookeke-gookeke javaagent: /var/lib/ecm-agent/data/jmxetric-1.0.8.jar=host=localhost,port=8649,mode=unicast,wireformat31x=true,process=ZOOKEEPER_ZOOKEEPER,config=/var/lib/ecm- агент / данные / jmxetric.xml HADOOP_HDFS_HOME = / usr / lib / hadoop-current LOGNAME = hadoop
PWD = / шоссе / disk1 / флоу-агент / локального RM / LocalApplication_1560824463304_2 / container_1560824463304_2_01_000001 _ = / usr / lib / jvm / java-1.8.0 / bin / java LESSOPEN = || /usr/bin/lesspipe.sh% s SHELL = / bin / bash ANACONDA_HOME = / usr / lib / anaconda
OLDPWD = / шоссе / disk1 / флоу-агент / локального RM / LocalApplication_1560824463304_2 / container_1560824463304_2_01_000001 USER = hadoop YARN_PID_DIR = / usr / lib / hadoop-current / pids
HADOOP_MAPRED_PID_DIR = / USR / Lib / Hadoop тока / ИДП
SPARK_CONF_DIR = / и т.д. / ЕСМ / искровой конф * * тысяча шестьдесят-три HOSTNAME = ЭЙ-заголовок-1.cluster-121550
SPARK_PID_DIR = / USR / Библиотека / искровой ток / PIDs
ZOO_LOG_DIR = / мнт / disk1 / Журнал / 1066 * Zookeeper * NLSPATH = / USR / дт / Библиотека / NLS / тзд /% Л /% N.cat
HADOOP_MAPRED_LOG_DIR = / вар / Журнал / Hadoop-mapred
HADOOP_HOME = / USR / Lib / Hadoop тока
HADOOP_LOG_DIR = / вар / Журнал / Hadoop-HDFS
FLOW_AGENT_CONF_DIR = / etc / ecm / flow-agent-conf HOME = / home / hadoop
SHLVL = 3 ZOOKEEPER_HOME = / usr / lib / zookeeper-current
SPARK_LOG_DIR = / мнт / disk1 / Журнал / искра

== Системные аргументы =============

[] ================= ПЕЧАТЬ В РАБОТЕ ENV END ================= Вторник, 18 июня, 10:48:58 CST 2019 [LocalJobLauncherAM ] ОШИБКА Launcher JobNameName не установлено, выход.

Answer 1

Попробуйте

--class <class_name> --master yarn-client --driver-memory 7g --num-executors 10 --executor-memory 5g --executor-cores 1 --jars ossref://emr/checklist/jars/emr-core-0.1.0.jar ossref://emr/checklist/python/wordcount.py oss://emr/checklist/data/kddb 5 32

Глядя на полученное сообщение об ошибке, вы должны просто пропустить параметр имени класса:

ОШИБКА Launcher JobNameName не установлена, выход.

Я получил пример запроса для E-MapReduce CreateJob API, как показано ниже:

https://emr.aliyuncs.com/?Action=CreateJob &Name=CreateJobApiTest-SPARK &Type=SPARK &EnvParam=--class%20org.apache.spark.examples.SparkPi%20--master%20yarn-client%20%E2%80%93num-executors%202%20--executor-memory%202g%20--executor-cores%202%20/opt/apps/spark-1.6.0-bin-hadoop2.6/lib/spark-examples*.jar%2010 &FailAct=STOP &RegionId=cn-hangzhou &Common request parameters

Надеюсь, это поможет.