Hive: Tez, как увеличить память AM Container - PullRequest
Новая
       133

Hive: Tez, как увеличить память AM Container

0 голосов
/ 26 апреля 2020

Я пытаюсь выполнить запрос улья как 

set yarn.nodemanager.vmem-check-enabled=false;
set hive.strict.checks.cartesian.product=false;
select count(*)
from db1.tb1 a
where a.col1='2015-07-13'
and a.col2='val'
and exists (
         select 1 from db2.tb2 b
         where b.col1='2015-07-13'
           and b.col2='val'
           and size(a.col3)=size(b.col3));

, но продолжаю получать 

Application application_1585768406438_10833 failed 2 times due to AM Container for appattempt_1585768406438_10833_000002 exited with  exitCode: -104
Failing this attempt.Diagnostics: [2020-04-26 19:47:06.497]Container [pid=30016,containerID=container_e03_1585768406438_10833_02_000001] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_e03_1585768406438_10833_02_000001 :s
--------|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
    |- 30101 30016 30016 30016 (java) 11364 769 3041062912 264859 /usr/lib/jvm/java-8-openjdk-amd64/bin/java -Xmx819m -Djava.io.tmpdir=/hadoop/yarn/nm-local-dir/usercache/a0t00wf/appcache/application_1585768406438_10833/container_e03_1585768406438_10833_02_000001/tmp -server -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA -XX:+UseParallelGC -Dlog4j.configuratorClass=org.apache.tez.common.TezLog4jConfigurator -Dlog4j.configuration=tez-container-log4j.properties -Dyarn.app.container.log.dir=/var/log/hadoop-yarn/userlogs/application_1585768406438_10833/container_e03_1585768406438_10833_02_000001 -Dtez.root.logger=INFO,CLA -Dsun.nio.ch.bugLevel= org.apache.tez.dag.app.DAGAppMaster --session

Я пытался запустить это как mapreduce вместо tez, но я столкнулся с той же проблемой. Я попробовал следующие настройки

Tez 

set tez.am.resource.memory.mb=4096
set tez.task.resource.memory.mb=4096
set tez.am.java.opts=-Xmx6144m;
set tez.am.resource.memory.mb=4096;
set hive.tez.container.size=4096;

MR 

set hive.execution.engine=mr;
set mapreduce.map.memory.mb=4096;
set mapreduce.reduce.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx6144m;
set mapreduce.reduce.java.opts=-Xmx6144m;

, а также эти настройки пряжи 

set yarn.nodemanager.vmem-check-enabled=false;
set yarn.nodemanager.resource.memory-mb=98304;
set yarn.scheduler.minimum-allocation-mb=8192;
set yarn.scheduler.maximum-allocation-mb=98304;
set yarn.nodemanager.vmem-pmem-ratio=9;

, но я всегда получаю та же ошибка. Как я могу увеличить пределы памяти для AM контейнера? Я подозреваю, что проблема заключается в некотором ограничении java памяти, как видно на трассировке стека

/usr/lib/jvm/java-8-openjdk-amd64/bin/java -Xmx819m

это так? Если да, то как мне увеличить java память, используемую tez / hive?

1 Ответ

0 голосов
/ 27 апреля 2020

Прежде всего вам нужно понять, что куча - это подмножество контейнера. Ваша кучная память должна составлять приблизительно 80% памяти контейнера. 

set hive.execution.engine=mr;  
set mapreduce.map.memory.mb=4096;  -- this is container memory
set mapreduce.reduce.memory.mb=4096;

Ниже приведены неверные значения. Они должны быть меньше 4096, иначе вы всегда получите контейнер, работающий за пределами памяти. 

set mapreduce.map.java.opts=-Xmx6144m;  -- this is heap memory
set mapreduce.reduce.java.opts=-Xmx6144m;

Вместо этого установите значение: 

set mapreduce.map.java.opts=-Xmx3276m;   -- (80% of 4096)
set mapreduce.reduce.java.opts=-Xmx3276m;

Вот хорошая статья о понимании этих сроки: https://community.cloudera.com/t5/Community-Articles/Demystify-Apache-Tez-Memory-Tuning-Step-by-Step/ta-p/245279

...