Как отдельно протестировать Java-действие hadoop MapReduce, которое было частью рабочего процесса oozie (с тегом file)? - PullRequest
1 голос
/ 06 июня 2019

Я пытаюсь протестировать работу MapReduce в Java отдельно, которая является частью рабочего процесса oozie.Я могу успешно протестировать работу MapReduce в Java с помощью команды ниже.

hadoop jar /tmp/lib/Example.jar com.example.MRDriver mapper=com.example.DataTransformMapper

Сложность заключается в том, что тег является частью действия oozie java.Посоветуйте, пожалуйста, как смоделировать или протестировать это задание MapReduce с тегом file .

<action name="JavaMRAction">
<java>
<job-xml>${hbase_site_xml}</job-xml>
<main-class>com.example.MRDriver</main-class>
<java-opts>-Dsun.security.krb5.debug=true</java-opts>
<arg>mapper=com.example.DataTransformMapper</arg>
<file>${hdfs_sharelib_hbase_path}hbase-client.jar#hbase-client.jar</file>
<file>${hdfs_sharelib_hbase_path}hbase-common.jar#hbase-common.jar</file> 
<file>${kerberos_keytab_file}#${kerberos_keytab_filename}</file>            
</java>
<ok to="NextAction" />
<error to="ErrorAction" />
</action>

1 Ответ

1 голос
/ 06 июня 2019

Используйте параметр "-libjars" команды hadoop jar: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html#jar

...