Я хотел бы найти последние файлы из каталога hdfs, сохранить их как есть и удалить старые файлы.
У меня есть 4 файла в каталоге hdfs / user / hive / warehouse / test:
-rwxrwx--x+ 3 hive hive 9 2018-11-13 04:13 /user/hive/warehouse/test/bc4151c16c98d191-72314e2e00000000_640731000_data.0.
-rwxrwx--x+ 3 hive hive 9 2018-11-13 04:35 /user/hive/warehouse/test/bc4151c16c98d191-72314e2e00000000_640731001_data.0.
-rwxrwx--x+ 3 hive hive 12 2018-11-13 08:31 /user/hive/warehouse/test/944adb43a3a5f955-659ed0e100000000_916442110_data.0.
-rwxrwx--x+ 3 hive hive 12 2018-11-13 08:31 /user/hive/warehouse/test/944adb43a3a5f955-659ed0e100000000_916442111_data.0.
Я хочу удалить все файлы, которые не самые последние.
Это означает, что мой каталог должен содержать файлы с отметкой времени 2018-11-13 08: 31
Я могусортировать эти файлы, используя hdfs dfs -ls /user/hive/warehouse/test | sort -k6,7
Как удалить старые файлы?Команды hdfs не имеют команды, подобной find, которая извлекала бы только самые последние файлы.