Сбой запуска Oozie, программа не запускается - PullRequest
Новая
       57

Сбой запуска Oozie, программа не запускается

0 голосов
/ 04 июля 2018

Я пытаюсь запустить рабочий процесс oozie с очень простым сценарием. Сам скрипт очень прост, он берет CSV-файл и загружает его в таблицу в Impala. Мой рабочий процесс выглядит следующим образом. 

<workflow-app xmlns='uri:oozie:workflow:0.5' name='TEST'>

<global>
    <job-tracker>${jobTracker}</job-tracker>
    <name-node>${nameNode}</name-node>
    <configuration>
        <property>
            <name>mapreduce.job.queuename</name>
            <value>${queueName}</value>
        </property>
    </configuration>
</global>

<start to='postLoad' />
<action name="postLoad">
    <shell xmlns="uri:oozie:shell-action:0.3">
        <exec>${nameNode}/${baseCodePath}/Util/Test.sh</exec>
        <env-var>impalaConn=${impalaConn}</env-var>
        <env-var>xferUser=${xferUser}</env-var>
        <env-var>ingUser=${ingUser}</env-var>
        <env-var>explTableName=${explTableName}</env-var>
        <env-var>stagingPath=${stagingPath}</env-var>
        <file>${nameNode}/${baseCodePath}/Util/Test.sh</file>
        <file>${nameNode}/${commonCodePath}/Util/loadUsrEnv.sh</file>
    </shell>
 ...

Однако, когда я запускаю его, я всегда получаю эту ошибку, и я не уверен, почему она не может запустить программу. Все каталоги / файлы указаны в нужных местах.

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "Test.sh" (in directory "/data13/yarn/nm/usercache/user/appcache/application"): error=2, No such file or directory java.io.IOException: Cannot run program "Test.sh" (in directory "/data13/yarn/nm/usercache/user/appcache/application"): error=2, No such file or directory

1 Ответ

0 голосов
/ 05 июля 2018

Использование 

<exec>Test.sh</exec>

Тег <file> указывает Oozie загрузить файл из папки HDFS в каталог контейнера YARN

...