как вызвать spark.stop () старый сеанс?

Question

В Jupyter я создал сессию искры вот так

spark = SparkSession.builder
         .master("yarn")
         .appName("test procjet")
         .getOrCreate()

Но я забыл spark.stop() и выключил ноутбук Jupyter. Я хочу вызвать stop() к старому сеансу, поэтому я попытался getOrCreate(), но сервер истории запусков показывает новое приложение.

Как я могу получить старый сеанс искры и остановить его? Я также попробовал yarn application -kill <appid>, но история искры все еще показывает это.

Answer 1

Когда Jupyter Notebook выключен, используемый в нем sparkSession также останавливается, поскольку Jupyter является клиентом, который его создал. То же самое происходит, когда вы забыли close() SparkSession в сценарии, который его использует.