Существует ли определенный порядок параметров, используемых в spark-submit при отправке задания?

Question

Я пытаюсь отправить искровое задание, используя spark-submit, как показано ниже:

SPARK_MAJOR_VERSION = 2 spark-submit --conf spark.ui.port = 4090 --driver-class-path/home/devusr/jars/greenplum-spark_2.11-1.3.0.jar --jars /home/devusr/jars/greenplum-spark_2.11-1.3.0.jar --executor-cores 3 --executor-memory13G --класс com.partition.source.YearPartition splinter_2.11-0.1.jar --master = пряжа --keytab /home/devusr/devusr.keytab --principal devusr@DEV.COM --files / usr / hdp /current / spark2-client / conf / hive-site.xml, testconnection.properties --name Splinter --conf spark.executor.extraClassPath = / home / devusr / jars / greenplum-spark_2.11-1.3.0.jar -conf spark.executor.instances = 10 --conf spark.dynamicAllocation.enabled = false --conf spark.files.maxPartitionBytes = 256M

Но задание не выполняется и вместо этого просто печатает:

SPARK_MAJOR_VERSION is set to 2, using Spark2 

Может кто-нибудь сообщить мне, есть ли какой-то определенный порядок для параметров, используемых в spark-submit?

Answer 1

Формат для использования spark-submit в режиме cluster на yarn - $ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options], как описано в https://spark.apache.org/docs/2.1.0/running-on-yarn.html

Если splinter_2.11-0.1.jar - это банка, в котором содержится ваш класс com.partition.source.YearPartition,Можете ли вы попробовать использовать это:

spark-submit \
        --class com.partition.source.YearPartition                                              \
        --master=yarn                                                                           \
        --conf spark.ui.port=4090                                                               \
        --driver-class-path /home/devusr/jars/greenplum-spark_2.11-1.3.0.jar                    \
        --jars /home/devusr/jars/greenplum-spark_2.11-1.3.0.jar                                 \
        --executor-cores 3                                                                      \
        --executor-memory 13G                                                                   \
        --keytab /home/devusr/devusr.keytab                                                     \
        --principal devusr@DEV.COM                                                              \
        --files /usr/hdp/current/spark2-client/conf/hive-site.xml,testconnection.properties     \
        --name Splinter                                                                         \
        --conf spark.executor.extraClassPath=/home/devusr/jars/greenplum-spark_2.11-1.3.0.jar   \
        --conf spark.executor.instances=10                                                      \
        --conf spark.dynamicAllocation.enabled=false                                            \
        --conf spark.files.maxPartitionBytes=256M                                               \
        splinter_2.11-0.1.jar