Что происходит с контекстом Spark, если сеанс остановлен?

Question

Если я остановлю существующий сеанс Spark с именем spark с помощью spark.stop(), что произойдет с его контекстом? Это также автоматически убивается? Я спрашиваю, потому что я взял некоторый код, где написано:

spark.stop()
sc.stop()

Интересно, нужна ли мне вторая команда?

Answer 1

Благодаря Как проверить, что SparkContext был остановлен? Я нашел метод isStopped, и если я запускаю

spark.stop()
spark.sparkContext.isStopped

возвращает «истина». Следовательно, кажется, что остановка сеанса также останавливает контекст, т.е. вторая команда в моем первом посте избыточна.

Обратите внимание , что в Pyspark isStopped не работает: «Объект SparkContext не имеет атрибута isStopped». Я проверил это с помощью Spark Scala.