Проверьте формат fileName с помощью регулярного выражения в oozie - PullRequest
Новая
       46

Проверьте формат fileName с помощью регулярного выражения в oozie

0 голосов
/ 30 сентября 2019

Я хочу проверить, существует ли файл с определенным именем в указанном месте HDFS. Имя моего файла выглядит примерно так: TEST_20190930.csv

Я сделал несколько поисков в Интернете и обнаружил, что fs: exist может помочь нам проверить это.

Я хочу проверить в своем координатореoozie, если файл существует с упомянутым именем (Test_20190930) с 20190903 - это дата получения файла в HDFS.

Может кто-нибудь, пожалуйста, направьте меня, чтобы проверить это. Спасибо в продвинутом

1 Ответ

0 голосов
/ 03 октября 2019

Вы можете использовать сценарий Unix для проверки шаблона файла, поскольку он обеспечивает большую гибкость и возможности, и вызывать этот сценарий в рабочем процессе oozie

Рабочий процесс может быть примерно таким 

<shell>
<exec> script.sh </exec>
</shell>
    <ok to="[NODE-NAME]"/>
    <error to="[NODE-NAME]"/>

, в то время какscript.sh может быть 

 if hdfs dfs -test -e $HDFS_PATH; then
    echo "[$HDFS_PATH] exists on HDFS"
    hdfs dfs -ls $HDFS_PATH
exit 0
    else
echo "File not Found"
exit 1
fi
...