Sqoop и Hive Tez в экземпляре Ec2 не работают должным образом - PullRequest
Новая
       27

Sqoop и Hive Tez в экземпляре Ec2 не работают должным образом

0 голосов
/ 30 октября 2018

У меня есть следующий набор в моем mapred-site.xml в моей системе ec2, где работает мой Hadoop: 

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>2048</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>4096</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx1024m</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx3072m</value>
</property>

С указанными выше свойствами Sqoop работает отлично, а Hive Tez - нет. Поэтому я изменил это на следующее: 

<property>
 <name>mapreduce.map.memory.mb</name>
 <value>4096</value>
</property>
<property>
 <name>mapreduce.reduce.memory.mb</name>
 <value>8192</value>
</property>
<property>
 <name>mapreduce.map.java.opts</name>
 <value>-Xmx3072m</value>
</property>
<property>
 <name>mapreduce.reduce.java.opts</name>
 <value>-Xmx6144m</value>
</property>

, поскольку Hive Tez требуется больше памяти, Sqoop перестает работать, а Hive Tez выдает ошибку вроде: 

Diagnostic Messages for this Task:
Container [pid=51661,containerID=container_e50_1493005386967_25486_01_000243] is running beyond virtual memory limits. Current usage: 274 MB of 1 GB physical memory used; 2.7 GB of 2.1 GB virtual memory used. Killing container

Подскажите, как мне заставить работать и Sqoop, и Hive tez.

...