Для своего приложения я создал SparkSession и wi sh, чтобы иметь возможность остановить и перезапустить контекст spark внутри SparkSession. Идея состоит в том, что, когда контекст искры простаивает, он отключается, а затем, когда новая активность входит в контекст искры, необходимо перезапустить. Я не могу найти, как перезапустить SparkContext, кроме создания нового, и я не могу создать новый SparkContext внутри уже существующего SparkSession.
Если бы я закрыл SparkSession и создал новый, воссоздали бы sparkContext, не мешая другим имеющимся у меня контекстам, таким как sqlContext? В любом случае можно просто отключить указанный c sparkContext и затем перезапустить его?
Редактировать: я забыл упомянуть, что мы не можем включить автоматическое масштабирование, потому что мы используем H2O. Поэтому мы хотим иметь возможность отключить его, когда он находится в режиме ожидания, для экономии ресурсов