YARN vCores used: Spark on YARN - PullRequest
Новая
       21

YARN vCores used: Spark on YARN

0 голосов
/ 04 марта 2019

Я отправляю искровое приложение на YARN со следующими конфигами 

conf.set("spark.executor.cores", "3")
conf.set("spark.executor.memory", "14g")
conf.set("spark.executor.instances", "4")
conf.set("spark.driver.cores", "5")
conf.set("spark.driver.memory", "1g")

Но, в интерфейсе менеджера ресурсов YARN отображается vCores used = 5, я ожидаю, что vCores был 17 ((4x3)+ 5 = 17) т.е. 12 для исполнителя и 5 для водителя.но он всегда показывает равным executors + driver = 5 .

Пожалуйста, помогите мне понять это!Заранее спасибо

1 Ответ

0 голосов
/ 04 марта 2019

В конфигурации spark docs вы увидите следующее:

Свойства искры в основном можно разделить на два вида: один относится к развертыванию, например «spark».driver.memory »,« spark.executor.instances », этот тип свойств может не изменяться при программной настройке через SparkConf во время выполнения или зависит от выбранного вами менеджера кластера и режима развертывания, поэтому было бы предложеноустановить через конфигурационный файл или параметры командной строки spark-submit;другой в основном связан с контролем времени выполнения Spark, например «spark.task.maxFailures», этот тип свойств может быть установлен любым способом.

Большинство этих настроек вы хотите установить из своегоspark-submit командная строка, в отличие от кода.В любом случае это, как правило, лучше, так что вы можете запускать задание с другими параметрами, не перекомпилируя его.

Вы бы хотели что-то вроде: 

spark-submit --num-executors 4 --executor-cores 3 --executor-memory 14g --driver-memory 1g --driver-cores 5 --class <main_class> <your_jar>
...