Как удалить дубликаты файлов с помощью Apache Nifi? - PullRequest
0 голосов
/ 21 октября 2019

У меня есть несколько настроенных серверов EC2, с одинаковыми EFS, установленными на каждом из этих экземпляров.

Я также настроил Apache Nifi независимо на каждой из 2 машин. Теперь, когда я пытаюсь создать поток данных для копирования файлов из подключенной папки EFS, я получаю дублированные файлы на обоих серверах.

Есть ли какой-нибудь способ в Apache Nifi, с помощью которого я могу производить дубликаты, поскольку оба они стреляют одновременно. Cron недостаточно полезен, так как в какой-то момент серверы столкнутся одновременно.

...