Как назначить список контроля доступа (ACL) при записи файла CSV в AWS в pyspark (2.2.0)?

Question

Я знаю, что могу вывести свой искровой фрейм данных на AWS S3 в виде файла CSV с помощью

df.repartition(1).write.csv('s3://my-bucket-name/df_name')

Мой вопрос заключается в том, что существует простой способ установить список контроля доступа (ACL) этого файла для'bucket-owner-full-control' при записи в S3 с использованием pyspark?

Answer 1

Список контроля доступа (ACL) может быть установлен через конфигурацию Hadoop после построения сеанса искры.

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('YourAppName').getOrCreate()

Установите ACL, как показано ниже:

spark.sparkContext.hadoopConfiguration().set('fs.s3.canned.acl', 'BucketOwnerFullControl')

Ссылка: s3 документация

Answer 2

Не знаю про разъем EMR s3;в коннекторе ASF S3A вы устанавливаете опцию fs.s3a.acl.default при открытии соединения: вы не можете установить его для каждого файла отдельно