Есть ли возможность установить spark.scheduler.pool (локальное свойство) из spark-submit

Question

Я использую честный планировщик вместе с пряжей

spark.scheduler.pool - это локальное свойство, которое устанавливается для запуска контекста при выполнении заданий для настроенного пула.

как ..

val sc: SparkContext = ???
sc.setLocalProperty("spark.scheduler.pool", "myPool")

Мне просто интересно, есть ли возможность установить это локальное свойство из команды spark-submit, например -Dspark.scheduler.pool=xxx

Answer 1

Да, spark.scheduler.pool можно установить на любое значение от spark-submit, используя следующий синтаксис -

spark-submit --master local --conf spark.scheduler.pool=myPool --class classpath jarfile

Надеюсь, это поможет!