Шифрование на стороне сервера в функции to_csv

Question

Я получаю эту ошибку при использовании to_csv ("s3: //mys3bucket/result.csv")

Exception: [Errno Write Failed: mys3bucket/result.csv/2489.part]
An error occurred (AccessDenied) when calling the PutObject operation: Access Denied

Возможно, это вызвано тем, что Dask не использует шифрование на стороне сервера.Подскажите пожалуйста, как я могу заставить его использовать SSE или какой-то другой метод для успешной записи файла в корзину s3

Answer 1

Расширяя комментарий @ user32185, для управления SSE через dask ваш вызов должен выглядеть примерно так:

to_csv("s3://mys3bucket/result.csv",
       storage_option={'s3_additional_kwargs':
           {'ServerSideEncryption': 'AES256'}})

где специфика SSE с s3fs детализирована здесь . Обратите внимание, что вам также могут потребоваться другие ключевые слова на той же странице документов для учетных данных, зоны хранения и т. Д. Параметры передаются в конструктор S3FileSystem , и вы можете вникнуть в документы boto, чтобы увидеть, что все значит.