hdfs или hadoop команда для синхронизации файлов или папок между локальными и hdfs

Question

У меня есть локальные файлы, которые добавляются ежедневно, поэтому я хочу синхронизировать эти недавно добавленные файлы в hdfs.

Я попробовал приведенную ниже команду, но все они полностью скопированы, мне нужна какая-то команда, которая копирует только недавно добавленные файлы

$ hdfs dfs -cp /home/user/files/* /data/files/*

Answer 1

Вы можете использовать hsync.https://github.com/alexholmes/hsync

Это пользовательский пакет Алекса и, возможно, полезный для разработчика, но его может быть сложно развернуть в производственной среде.Я ищу похожее решение, но сейчас оно кажется наиболее близким.Другой вариант - написать свой собственный сценарий оболочки для сравнения времени исходного / целевого файла, а затем перезаписать только более новые файлы.