Действие OOZIE HIVE - свойства workflow.xml не передаются дочерним задачам - PullRequest
Новая
       22

Действие OOZIE HIVE - свойства workflow.xml не передаются дочерним задачам

0 голосов
/ 27 июня 2018

У нас есть действие улья в oozie, и мы переопределяем некоторые из стандартных свойств mapred в рабочем процессе.

Дочерние задачи, запускаемые действием куста, имеют значения по умолчанию для свойств, а не значения, настроенные в рабочем процессе. В файле job.xml, созданном для каждого дочернего проекта, отображаются только значения по умолчанию.

Как я могу убедиться, что все подзадачи, запущенные действием куста, получают свойства из workflow.xml.

Ниже приведен мой улей из workflow.xml: 

<action name="Hive">
    <hive>
        <job-tracker>${job_tracker}</job-tracker>
        <name-node>${name_node}</name-node>
        <script>${wf:actionData('Query')['Location']}</script>
         <param>JOBDIR=${jobDir}</param>            
        <configuration>             
            <property> 
                <name>oozie.launcher.mapred.child.java.opts</name> 
                <value>-Xmx512m</value> 
            </property>                 
            <property> 
                <name>mapred.map.child.java.opts</name> 
                <value>-Xmx1024m</value> 
            </property> 
            <property> 
                <name>mapred.reduce.child.java.opts</name> 
                <value>-Xmx1024m</value> 
            </property>
                  <name>mapred.max.split.size</name>
                  <value>2560000</value>
                  <description>Largest valid size in bytes for a file split.
                        This should be set to a small multiple of the block size in bytes
                  </description> 
            </property>             
        </configuration>            
    </hive>

1 Ответ

0 голосов
/ 28 июня 2018

Попробуйте использовать 

mapred.map.child.java.opts -> mapreduce.map.java.opts
mapred.reduce.child.java.opts -> mapreduce.reduce.java.opts
mapred.max.split.size -> mapreduce.input.fileinputformat.split.maxsize

Я думаю, что "oozie.launcher.mapred.child.java.opts" работает нормально.

...