Получение выходного / возвращаемого значения из спарк-отправки

Question

Есть ли в любом случае, что я могу захватить выходные данные заданий spark-submit

spark-submit --master yarn --deploy-mode cluster --queue root.dm.xxx --principal $ USER@ xxx.CO.UK --keytab ~ / $ USER.keytab --driver-class-path "/ opt / cloudera / parcels / CDH / lib / hive / lib / " --driver-java-options "-Dspark.executor.extraClassPath = / opt / cloudera / parcels / CDH / lib / hive / lib /"--conf" spark.yarn.appMasterEnv.PYSPARK_PYTHON = / dhcommon / dhpython / python / bin / python2.7"--num-executors 12 --executor-memory 15GB --executor-cores 5 --conf spark.yarn.executor.memoryOverhead = 3072 --conf" spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON = / dhcommon / dhpython / python /bin / python2.7 "--py-files" /home/xxx/eggs/xxx-1.0-py2.7.egg,/home/xxx/eggs/xxx-1.0-py2.7.egg "simple.py

Answer 1

Переменная оболочки $?имеет возвращаемое значение последней команды.Вы можете сделать что-то вроде этого:

spark-submit --master yarn ....
ret_val=$?  # In case you want to reference the return code more than once
...

Это, конечно, один из способов сделать это.Вы можете увидеть этот блог для других способов.