Как получить Id приложения / Job Id задания, отправленного в кластер Spark с помощью команды Spark-submit?

Question

Я отправляю задание Apache Spark с помощью команды spark-submit. Я хочу получить идентификатор приложения или идентификатор задания, представленного с помощью команды spark-submit. Какой должен быть рекомендуемый способ?

Answer 1

Поскольку неясно, хотите ли вы это программно в приложении, я предполагаю, что вы делаете, Вы можете получить идентификатор приложения пряжи или идентификатор задания (в локальном режиме) с помощью следующего:

val sparkSession: SparkSession = ???
val appID:String = sparkSession.sparkContext.applicationId

Надеюсь, что это отвечает на ваш вопрос.

Answer 2

Вывод команды spark-submit может быть проанализирован для получения идентификатора приложения. Это линия, на которую вы должны смотреть -

2018-09-08 12:01:22 INFO StandaloneSchedulerBackend: 54 - Подключен к кластеру Spark с идентификатором приложения app-20180908120122-0001

appId=`./bin/spark-submit <options> 2>&1 | tee /dev/tty | grep -i "Connected to Spark Cluster" | grep -o app-.*[0-9]`
echo $appId
app-20180908120122-0001

Ваш вариант использования неясен, но если вы ищете идентификатор приложения после завершения работы, это может быть полезно. Эта линия может отличаться для пряжи и других кластеров.