Как получить идентификаторы работы или приложения в SparkSession?

Question

Я знаю, как получить jobID / ApplicationID от sparkContext.Есть ли способ получить jobID / ApplicationID от SparkSession?

В sparkContext мы можем

sc.applicationId
res0: String = app-20150224184813-11531

Answer 1

Решение состоит в том, чтобы получить доступ к SparkContext через SparkSession.

spark.sparkContext.applicationId
res0: String = app-20150224184813-11531