Причина: контейнер, убитый YARN за превышение пределов памяти. 24,1 ГБ 24 ГБ физической памяти - PullRequest
Новая
       14

Причина: контейнер, убитый YARN за превышение пределов памяти. 24,1 ГБ 24 ГБ физической памяти

0 голосов
/ 24 июня 2019

Я выполняю задание pyspark в кластере AWS EMR, подробности о кластере приведены ниже.один главный экземпляр (m5.2xlarge) пять ведомых экземпляров (m5.2xlarge-8 vCore, память 32 ГиБ, только хранилище EBS Хранилище EBS: 200 ГиБ).

после того, как я отправил задание pyspark, происходит сбойс ошибкой ниже. 

ExecutorLostFailure (executor 1 exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. 24.1 GB of 24 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead or disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.

ниже приведена команда spark submit. 

spark-submit  --deploy-mode cluster --master yarn --num-executors 2 --executor-cores 5 --executor-memory 21g --driver-memory 10g --conf spark.yarn.executor.memoryOverhead=3g --conf spark.yarn.submit.waitAppCompletion=false --conf spark.yarn.maxAppAttempts=100 --conf spark.executor.extraJavaOptions=-Xss3m  --conf spark.driver.maxResultSize=3g --conf spark.dynamicAllocation.enabled=false

укажите лучший параметр для ни одного из исполнителей, памяти исполнителя и никаких ядер.

Ответы [ 2 ]

0 голосов
/ 25 июня 2019

Я не могу увеличить --executor-memory или spark.yarn.executor.memoryOverhead, так как он достигнет максимального порога (24576 МБ).

Проблема была решена после увеличения --num-исполнителям до 5.

0 голосов
/ 24 июня 2019

Один из ваших исполнителей JVM исчерпал память.Как говорится в сообщении об ошибке, рассмотрите возможность увеличения spark.yarn.executor.memoryOverhead с 3g до разумного значения.

Вы также можете увеличить --executor-memory до большего значения, необходимого вашему Приложению.

См. Искровые свойства здесь: https://spark.apache.org/docs/2.4.0/running-on-yarn.html

...