AWS S3 $ folder $ создает как исправить

Question

Согласно расписанию мой datapipeline(DynamoDB_Export-to-QuickSight) запускается ежедневно один раз @ 2:00 28 UTC и помещает файл успеха в #{myOutputS3Loc}/dynamoDB/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}.

Но до этого расписания ежедневно в 7:00:21 по Гринвичу + 0530 и в той же папке создается пустой файл.Поскольку эта пустая папка создается до того, как моя линия данных выдает ошибку, файл уже завершается.

Если я удаляю этот файл $ folder $, который пуст до моей запланированной строки, она успешно выполняется.Но ежедневно я не могу вручную удалить файл.

Я не уверен, почему эта пустая $ папка $ создается ежедневно до 12 часов моего запланированного времени.

Answer 1

Файл $folder$ обычно создается приложением, которое желает, чтобы папка «появлялась» в корзине Amazon S3.

Папки на самом деле не существуют в Amazon S3 - это хранилище плоских объектов. Каталоги будут автоматически отображаться при копировании файла в папку, содержащую путь.

Однако некоторые приложения специально хотят, чтобы папка появлялась, поэтому они создают пустой файл, в результате чего папка появляется (вроде), когда в списке есть корзина.

Таким образом, вам нужно отследить, какое приложение создает папку. Это может быть частью вашей конвейерной работы или может быть откуда-то еще. Вы можете посмотреть на метку времени создания, чтобы определить, когда она создается и что, вероятно, ее создает.