Я создаю простой конвейер nifi для чтения файла и записи одного и того же файла в два разных места. Ниже приведен поток моего конвейера:
1) Считайте файл из каталога server_1 directory_1
2) скопируйте файл в каталог server_1 directory_2
3) скопируйте файл в каталог server_2 directory_3
Сценарий python постоянно генерирует CSV в каталоге server_1 directory_1. Я могу сделать первый и второй шаг, но на третьем шаге конвейер записывает только старые данные. Для чтения новых данных мне нужно очистить очередь success_sftp. Ниже приведен скриншот пиплейна:
В третьем случае он показывает два поведения:
1) Если нет файла CSV присутствует во входном каталоге, и я запускаю поток, затем он будет копировать файл, идущий первым (только первые файлы, а не файл после этого), а очередь success_sftp будет заполнена после этого.
2) Если у меня есть csv файл (скажем, 10 файлов) во входном каталоге, и я запускаю поток, тогда он скопирует все файлы csv (10 файлов) в выходной каталог, и после этого очередь будет заполнена. Для записи большего количества файлов мне нужно очистить очередь. Пожалуйста, помогите