Память контейнера YARN не отображается в настройках java Xmx - PullRequest
0 голосов
/ 02 марта 2020

Пожалуйста, помогите мне понять ошибку в моем понимании или конфигурации.

Я запускаю Spark на YARN и установил минимальное выделение памяти для контейнера на 8 ГБ в yarn-site. xml:

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>8192</value>
</property>

Я вижу, что этот параметр отражен в пользовательском интерфейсе диспетчера ресурсов:

enter image description here Однако, когда я ps процесса java контейнера на сервере, Максимальный размер кучи установлен в 1024 МБ, т. е. -Xmx1024m:

root 542 535 1 16:18 ? 00:05:58 /usr/lib/jvm/jre-1.8.0-openjdk/bin/java -server -Xmx1024m -Djava.io.tmpdir=/tmp/hadoop-root/nm-local-dir/usercache/root/appcache/application_1583021363029_0011/container_1583021363029_0011_03_000003/tmp ...

Идентификатор процесса java контейнера: 542 :

Logs for container_1583021363029_0011_03_000003

0/03/02 16:18:57 INFO executor.CoarseGrainedExecutorBackend: Started daemon with process name: 542@xxxxxxxx.xxxx.xxx
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for TERM
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for HUP
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for INT

1 Ответ

1 голос
/ 02 марта 2020

Java опции и размеры контейнера YARN являются различными свойствами

Максимальные настройки размера кучи можно установить с помощью spark.driver.memory в режиме кластера и с помощью параметра командной строки --driver-memory в клиенте режим

...