Изменить spark.memory.storageFraction - PullRequest
Новая
       13

Изменить spark.memory.storageFraction

1 голос
/ 10 июня 2019

Я пытаюсь уменьшить значение spark.memory.storageFraction в коде так: 

sparkSession = (SparkSession
                    .builder
                    .appName(app_name)
                    .config("spark.sql.broadcastTimeout", "36000")
                    .config("spark.sql.autoBroadcastJoinThreshold", -1)
                    .config("spark.executor.memoryOverhead", "512M")
                    .config("spark.memory.storageFraction", 0.1)
                    .config("spark.executor.memory", "3g")
                    .enableHiveSupport()
                    .getOrCreate())

Также я попробовал это в команде spark submit: 

spark-submit --master yarn --deploy-mode client --conf spark.pyspark.python=python3.6 --conf spark.memory.storageFraction=0.1 --driver-memory 2g --num-executors 6 --py-files packages.zip jobs/case1/case1.py

При запуске задания я вижу эту конфигурацию в конфигурации свечи через: 

spark_logger.info(sparkSession.sparkContext.getConf().getAll())

Но это не дает никакого эффекта в веб-интерфейсе spark.

...