У меня есть папка hadoop, которая может содержать тысячи файлов следующим образом:
/data/file1.dat
/data/file2.dat
/data/file3.dat
/data/file4.dat
/data/file5.dat
...... etc
В то же время эта папка записываетсяв других процессах имена записываемых файлов начинаются с точки:
/data/.file6.dat
/data/.file7.dat
после завершения записи в эти файлы точка удаляется.Я использую скрипт Scala, который читает первый набор имен файлов и сохраняет их в списке, затем повторяет и удаляет эти файлы, но этот процесс занимает много времени для удаления каждого файла по отдельности, я пытался удалить все файлы одновременно, но получил ошибкучто список аргументов слишком длинный, поэтому я пытаюсь удалить первый набор, сохранив все файлы, которые были записаны после прочтения исходного набора.
Спасибо