Я получаю отказано в доступе при попытке прочитать файл с помощью spark - PullRequest
Новая
       23

Я получаю отказано в доступе при попытке прочитать файл с помощью spark

0 голосов
/ 09 апреля 2020

Не могли бы вы помочь мне с этим: я запускаю jar в AWS кластер EMR и во время выполнения получаю следующий код: 403 "Доступ запрещен": WARN FileStreamSink: Ошибка при поиске каталога метаданных. java .io.IOException: com.amazon.ws.emr.had oop .fs.shaded.com.amazon aws .services.s3.model.AmazonS3Exception: доступ запрещен (Сервис: Amazon S3; код состояния : 403; Код ошибки: AccessDenied; Идентификатор запроса: XXXXXXXXXX; Идентификатор расширенного запроса S3: XXXXXXXXXXXX)

Это часть кода, в которой возникает ошибка: 

 Dataset<Row> baseDataset = spark.read().format(fileFormat)
                    .option("header", header)
                    .option("delimiter", delimiter)
                    .option("ignoreLeadingWhiteSpace",true)
                    .option("ignoreTrailingWhiteSpace",true)
                    .load(inputFilePath);
...