Действие оболочки Oozie Выходные данные превышают свой предел [2048] - PullRequest
Новая
       37

Действие оболочки Oozie Выходные данные превышают свой предел [2048]

0 голосов
/ 13 ноября 2018

У меня есть сценарий оболочки, как показано ниже 

ssh  -q -v -i id_rsa -o "StrictHostKeyChecking no" user@remotemachine script > file

hdfs dfs -put -f file hdfspath

Когда я запускаю этот скрипт в действии оболочки oozie с помощью "", файл копируется с удаленного компьютера на мой компьютер. На самом деле его файл более 2 КБ. Но когда я перемещаю его в hdfs с помощью команды (hdfs dfs -put), его ошибка ниже ошибки

Failing Oozie Launcher, Главный класс [org.apache.oozie.action.hadoop.ShellMain], исключение вызывает main (), Выходные данные превышают свой предел [2048] org.apache.oozie.action.hadoop.LauncherException: выходные данные превышают его предел [2048]

1 Ответ

0 голосов
/ 13 ноября 2018

Добавьте приведенное ниже в действие оболочки или введите /etc/oozie/conf/oozie-site.xml и перезапустите сервер oozie. Это увеличит выходные данные консоли, которые могут быть захвачены как часть тега действия оболочки <capture-output/>. По умолчанию установлено значение 2048, то есть Максимальный размер символов для выходных данных. 

 <configuration>             
  <property>
    <name>oozie.action.max.output.data</name>
    <value>8192</value>
  </property>        
</configuration>

<capture-output/> не требуется, если вы не используете вывод консоли из действия оболочки для каких-либо решений в следующем действии. Попробуйте просто, удалив тег <capture-output/>, если не требуется.

...