Есть ли способ получить идентификатор SparkSession текущего сеанса Spark? - PullRequest
0 голосов
/ 10 октября 2019

У меня есть Spark Session, созданный с помощью spark-shell, и другой spark-сеанс, созданный моим кодом (импортированный через jar, переданный в spark-shell)

Есть ли способ сравнить идентификатор сеансадве сессии Spark?

Я знаю, что мы можем получить applicationId через spark.SparkContext.applicationId.

Являются ли sessionid и applicationId одинаковыми? Я думал, что applicationId связан с искровой работой. (Уникальный идентификатор работы)

Есть ли способ получить идентификатор Spark Session?

1 Ответ

0 голосов
/ 11 октября 2019

Вы можете попробовать это. Я не смог найти способ получить идентификатор свечей зажигания, но вы можете сравнить сеансы зажигания. Вы можете сослаться на это

https://www.waitingforcode.com/apache-spark-sql/multiple-sparksession-one-sparkcontext/read

...