Моя цель - написать dataframe на S3. Я проверил свои учетные данные с помощью aws-cli, и они работали нормально - чтение, запись.
Когда я выполняю ту же задачу с помощью PySpark, частичные данные записываются, поскольку я вижу, что каталог temporary создается в папке назначения на S3, но затем я получаю сообщение об ошибке:
Caused by: com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 403, AWS Service: Amazon S3, AWS Request ID: tx0000000000000105aa9ff-005eecf1c9-415a31ec-default, AWS Error Code: AccessDenied, AWS Error Message: null, S3 Extended Request ID: 415a31ec-default-default
Я убедился, что учетные данные на моей платформе выполнения кода (JupyterHub) в порядке. Я убедился, что те же учетные данные могут записать небольшой файл в ведро, используя aws-cli.
Я также ls редактировал ведро:
➜ reading-sos-reports git:(master) ✗ aws s3 --endpoint-url https://s3.some_org.com ls s3://My-Bucket/extraction/sos/parquet/temp2/
PRE _temporary/
Как разрешить доступ отказано в выдаче 403 из AWS?