Разрешения ACL для write_dynamic_frame_from_options в S3 с использованием AWS Glue

Question

Как добавить разрешения -acl для объектов s3 при попытке вывести Glue DynamicFrame с помощью write_dynamic_frame_from_options. Я дал эту строку кода, когда попытался преобразовать данные и перенести файлы csv в другую учетную запись AWS S3.

glueContext.write_dynamic_frame.from_options(frame = DATA_temp, connection_type = "s3", connection_options = {"path": "s3://{BUCKETNAME}/{FOLDER1}/#0001"}, format = "csv")

Мой процесс завершился успешно, но я не смог загрузить или открыть файлы в этой учетной записи ??

Answer 1

Это сделает трюк

glueContext._jsc.hadoopConfiguration().set("fs.s3.canned.acl", "BucketOwnerFullControl")

Версия Scala, как показано ниже:

glueContext.sparkContext.hadoopConfiguration.set("fs.s3.canned.acl", "BucketOwnerFullControl")