Какой менеджер S3 создает файлы '_ $ folder $' для псевдопапок?

Question

Я знаю, что в S3 нет папок, и я работаю с унаследованным приложением, в котором есть несколько областей, заполненных папками folder_name_ $ folder $ items.Я знаю, что многие разные инструменты используют эти файлы или другие символы папок, в зависимости от инструмента, для представления «папок» в различных визуальных интерфейсах.Мне интересно, какой из них использует это конкретное соглашение.

Я хотел бы удалить их, чтобы мои различные грабли, выполняющие списки файлов, могли выполняться быстрее, но я боюсь, что в конечном итогесломать какой-то инструмент, который использует кто-то еще в компанииКто-нибудь может сказать, какие инструменты создают эти ключи, и какие функциональные возможности, если таковые имеются, удаляют их?S3Fox?Основная консоль AWS?

Answer 1

Они также создаются собственной файловой системой Hadoop S3 ( NativeS3FileSystem ).

Answer 2

папки _ $ folder $ создаются с помощью S3Fox, Консоль AWS не создает их. Вы можете безопасно удалить их, если вам нравится

Спасибо Энди

Answer 3

$ folder $ создается приложением hadoop и spark во время процесса перемещения файла.

Вы можете удалить их с помощью команды s3

 aws s3 rm s3://path --recursive --exclude "*" --include "*\$folder\$"

Answer 4

Я столкнулся с этой проблемой, когда создавал Athena Partition, когда в S3 такого ключа не было. Эти файлы можно безопасно удалить.

Пожалуйста, проверьте также здесь https://aws.amazon.com/premiumsupport/knowledge-center/emr-s3-empty-files/

Answer 5

Кажется, что они также созданы 3Hub.