Я использую задания AWS Glue ETL для загрузки некоторых наборов данных с помощью их API PySpark;а именно, загрузку DynamicFrame из объектов S3, выполнение некоторых преобразований и, наконец, запись результатов в каком-то местоположении S3 (с использованием glueContext.write_dynamic_frame.from_options) или в каталоге (с использованием glueContext.write_dynamic_frame.from_catalog).
Чтобы упорядочить вещи, мыесть политики, которые препятствуют созданию объектов в целевых местоположениях, если они не помечены должным образом.
Мне интересно, есть ли способ пометить объекты s3, созданные как часть процесса записи.