Как проверить совокупный размер каталога hdfs как часть действия oozie? - PullRequest
0 голосов
/ 12 июня 2019

В рамках рабочего процесса oozie я пытаюсь найти общий совокупный размер каталога hdfs (который содержит подкаталоги, в которых присутствуют файлы). Я пытался использовать функцию fs: dirSize как часть действия oozie, но эта функция возвращает размер как 0, даже если в подкаталоге есть файлы.

Согласно документации oozie, fs: dirSize (String path) не работает рекурсивно, он только вычисляет размер файлов по указанному пути. Посоветуйте, пожалуйста, как получить совокупный размер, который учитывает файлы в подкаталогах.

<?xml version="1.0" encoding="UTF-8"?>
<workflow-app xmlns="uri:oozie:workflow:0.5" name="sample_WF">
<start to="decisionCheck"/>
<decision name="decisionCheck">
<switch>
<case to="end">
${fs:dirSize('/tmp/testOozie') gt 0}
</case>
<default to="fail"/>
</switch>
</decision>
<kill name="fail">
<message>***Failed***</message>
</kill>
<end name="end" />
</workflow-app>
...