Как остановить SparkContext

Question

Как остановить любой контекст запуска, работающий в данный момент.

Информационный API: версия Scala Spark: Spark 2.3

На самом деле я создал контексты искры.Чтобы остановить их, я должен ввести, например, instance.stop (), но не смог вспомнить имя экземпляра контекста spark.Так как я могу прекратить запуск искры контекста?

Или есть какой-нибудь способ сбросить все, что я сделал в spark-shell и начать сначала?

Answer 1

Это на самом деле не отвечает на ваш вопрос, но может помочь предотвратить эту проблему в будущем.

Вы можете (должны?) Использовать модуль atexit, чтобы убедиться, что в вашем искровом контексте .stop()вызывается автоматически при выходе из python.

import atexit

#spark configuration code here
sc = SparkContext(conf = conf)

atexit.register(lambda: sc.stop())