Nifi Перемещение файлов по пути HDFS за предыдущий день объединенный файл JSON - PullRequest
0 голосов
/ 16 октября 2019

У меня есть требование переместить обработанные и объединенные файлы json предыдущего дня в новый путь hdfs. Требуется рекурсивный поиск необработанных файлов и перемещение ожидающих обработки необработанных файлов.

Путь 1 -> /data/nifi/working/2019/10/source_2019_10_15.json --- Ежедневно обработанные файлы объединяются по этому путии добавляется ежедневно. Путь 2 -> / data / nifi / входящий / - код должен искать, если папки не существуют, затем создавать и перемещать файлы, просто перемещать файлы, если папки уже присутствуют.

В настоящее время яЯ использую поток nifi - ListHDFS-> MoveHDFS, но не могу этого достичь.

Нужна помощь, как этого достичь.

Спасибо за помощь.

1 Ответ

0 голосов
/ 24 октября 2019

Текущий поток работает нормально.

listhdfs-> fethchdfs-> updateattribute-> puthdfs

В списке listhdfs задайте минимальное время ожидания файла перед его использованием. Это позволит процессу рекурсивно искать файлы, а также использовать атрибут updateat для повторного создания папки как и обработки файла в /data/nifi/incoming/.

.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...