Что за команда получить память искрового драйвера в искровой оболочке

Question

Я знаю, что связанная с искрой конфигурация может быть получена через файл spark-env.sh, какова будет команда для ее получения из spark-shell?Например, чтобы получить spark.driver.memory, я должен использовать

set spark.driver.memory 

, выше не работает

Answer 1

Вы можете предоставить память в качестве конфигурации при запуске spark-shell

spark-shell --conf spark.driver.memory=2g

Это запустит оболочку spark с 2g памяти драйвера.Чтобы получить к нему доступ в оболочке искры, вы можете сделать следующее.

val conf = sparkContext.getConf
val driverMemory = conf.get("spark.driver.memory")

Это вернет String = 2g.