Oozie требуется больше времени для бега по сравнению с Hive CLI - PullRequest
Новая
       20

Oozie требуется больше времени для бега по сравнению с Hive CLI

0 голосов
/ 18 апреля 2019

Есть 2 проблемы, с которыми я сейчас сталкиваюсь: -

  • Выполнение SQL куста задания Oozie занимает 2 часа, в то время как выполнение того же SQL в CLI Hive / Beeline заняло от 6 до 7 минут.

  • Один и тот же SQL-запрос выполнялся в CLI Oozie и Hive / Beeline, но, похоже, что оба используют разное распределение памяти, хотя в обоих случаях использовался один и тот же файл hive-site.xml.

Я получаю сообщение об ошибке при работе в Oozie, но не возникает при работе в CLI с тем же SQL. Каким-то образом распределение памяти гибридного хэш-таблицы было другим.

Из журналов ниже, при работе в Oozie, выделенная память была 5000000, но когда я запускал в Hive / Beeline CLI, выделение было 10000000, и выделение разделов прошло успешно, если объем памяти выше

Любая помощь будет принята с благодарностью.

Журналы 

|tez.HashTableLoader|: Memory manager allocates 5000000 bytes for the loading hashtable.
|persistence.HashMapWrapper|: Key count from statistics is 1; setting map size to 2
|persistence.HybridHashTableContainer|: Available memory is not enough to create a HybridHashTableContainer!
|persistence.HybridHashTableContainer|: Total available memory: 5000000
|persistence.HybridHashTableContainer|: Estimated small table size: 105
|persistence.HybridHashTableContainer|: Number of hash partitions to be created: 16
|persistence.HybridHashTableContainer|: Total available memory is: 5000000
|persistence.HybridHashTableContainer|: Write buffer size: 524288
|persistence.HybridHashTableContainer|: Using a bloom-1 filter 2 keys of size 8 bytes
|persistence.HybridHashTableContainer|: Each new partition will require memory: 65636
|persistence.HybridHashTableContainer|: Hash partition 0 is created in memory. Total memory usage so far: 65644
|persistence.HybridHashTableContainer|: Hash partition 1 is created in memory. Total memory usage so far: 131280
|persistence.HybridHashTableContainer|: Hash partition 2 is created in memory. Total memory usage so far: 196916
|persistence.HybridHashTableContainer|: Hash partition 3 is created in memory. Total memory usage so far: 262552
|persistence.HybridHashTableContainer|: Hash partition 4 is created in memory. Total memory usage so far: 328188
|persistence.HybridHashTableContainer|: Hash partition 5 is created in memory. Total memory usage so far: 393824
|persistence.HybridHashTableContainer|: Hash partition 6 is created in memory. Total memory usage so far: 459460
|persistence.HybridHashTableContainer|: Hash partition 7 is created in memory. Total memory usage so far: 525096
|persistence.HybridHashTableContainer|: Hash partition 8 is created in memory. Total memory usage so far: 590732
|persistence.HybridHashTableContainer|: Hash partition 9 is created in memory. Total memory usage so far: 656368
|persistence.HybridHashTableContainer|: Hash partition 10 is created in memory. Total memory usage so far: 722004
|persistence.HybridHashTableContainer|: Hash partition 11 is created in memory. Total memory usage so far: 787640
|persistence.HybridHashTableContainer|: Hash partition 12 is created in memory. Total memory usage so far: 853276
|persistence.HybridHashTableContainer|: Hash partition 13 is created in memory. Total memory usage so far: 918912
|persistence.HybridHashTableContainer|: Hash partition 14 is created in memory. Total memory usage so far: 984548
|persistence.HybridHashTableContainer|: Hash partition 15 is created in memory. Total memory usage so far: 1050184
 |persistence.HybridHashTableContainer|: There is not enough memory to allocate 16 hash partitions.
|persistence.HybridHashTableContainer|: Number of partitions created: 16
|persistence.HybridHashTableContainer|: Number of partitions spilled directly to disk on creation: 0

улья site.xml 

 ....
 <property>
  <name>hive.execution.engine</name>
  <value>tez</value>
 </property>
 <property>
   <name>tez.lib.uris</name>
   <value>maprfs:///apps/tez/tez-0.8,maprfs:///apps/tez/tez-0.8/lib</value>
 </property>
 <property>
   <name>hive.tez.container.size</name>
   <value>6144</value>
 </property>
 ...
...