Настройка spark.driver.cores в режиме автономного кластера искры

Question

Я использую режим кластера Spark Standalone и использую "spark.driver.cores", чтобы установить количество ядер для драйвера.Но каждый раз, когда пользовательский интерфейс показывает его «0», как показано на рисунке

Даже установка этого значения в коде

.set("spark.driver.cores","14")                                                   

не кажетсяработать.Как установить это значение в режиме автономного кластера?

Спасибо === ОБНОВЛЕНИЕ === Вот команда spark-submit

        spark-submit --jars "file:///<path to jar>" --master spark://$MASTER:7077 --conf "spark.cores.max=330" 
    --conf "spark.executor.core=5" 
    --conf "spark.sql.broadcastTimeout=10000000" 
    --conf "spark.sql.shuffle.partitions=1000" 
    --conf "spark.default.parallelism=1000"  
    --conf "spark.executor.memory=40g"  
    --conf "spark.driver.memory=40g" 
    --conf "spark.driver.extraJavaOptions=-XX:+UseCompressedOops -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" 
    --conf "spark.driver.maxResultSize=40g" 
--conf "spark.network.timeout=10000000" 
--class "<my class>" "<path to jar>" <other parameters>....

Каждый узел в кластере имеет 24 ядра и 64 ГБ памяти.Надеюсь, это поможет.Спасибо за вашу помощь.

Answer 1

`--conf "spark.executor.core=5"` is wrong

должно быть (s отсутствует)

--conf "spark.executor.cores=5" 

Во-вторых, вы не настраиваете spark.driver.cores является искрой-отправкой.

ваш .set("spark.driver.cores","14") должен быть похож на

val sparkConf = new SparkConf()
  .set("spark.driver.cores", "2")
    .setAppName(this.getClass.getSimpleName)
    .setMaster("local[*]")

    val spark: SparkSession = SparkSession.builder().config(sparkConf).appName(this.getClass.getName)
    .master("local[*]").getOrCreate()

Совет: Чтобы проверить, какие конфигурации вы применяете: spark.sparkContext.getConf.getAll.foreach(println) напечатает все конфигурации, примененные для создания сеанса зажигания.

В приведенном выше примере:

(spark.app.name,com.examples.DataFrameCSVExample$)
(spark.app.id,local-1558579973832)
(spark.driver.cores,2)
(spark.master,local[*])
(spark.executor.id,driver)
(spark.driver.host,192.168.19.1)
(spark.driver.port,53962)

Если вы видите здесь, spark-ui должен показать то же самое ...

Надеюсь, вы поняли!!!