NiFi: как хранить maxTimestamp при использовании процессора ListFile / GetFile? - PullRequest
0 голосов
/ 03 апреля 2019

Я использую MiNiFi 0.3 и версию NiFi 1.5.

у нас есть требование извлечь данные (csv) из папки «A» с помощью MiNiFi и отправить их на NiFi, работающий в linux.

например, если файл поступает с 10 записями в 1 час ночи. нам нужно переместить (а не скопировать) файл из папки «A» в концентратор NiFi. Через 10 минут (1.10 утра) будет добавлен добавленный файл со старыми 10 записями и новыми 10 записями. Итак, всего в нем будет 20 записей.

нам нужно отправить только новые 10 записей в концентратор NiFi.

Я попробовал ListFile -> FetchFile, но так как нам нужно переместить данные. это не работает. затем я попытался с процессором GetFile, но он захватывает целых 20 записей.

есть ли способ реализовать сценарий.

заранее спасибо.

1 Ответ

1 голос
/ 03 апреля 2019

Используя FetchFile, вы можете настроить его, используя свойство Completion Strategy до Move File или даже Delete File (а затем вы можете PutFile это когда захотите).

...