Получение Запрещенной ошибки чтения из S3 с использованием искры

Question

Я установил конфигурацию искры, которая включает в себя ключ доступа S3 и секретный ключ, и настройку impl.

Я могу видеть значения, когда делаю sqlContext.getAllConfs

Но я получаюзапрещенная ошибка при чтении текстового файла в df

val df = sqlContext.read
      .format("com.databricks.spark.csv")
      .option("header", "true") // Use first line of all files as header
      .option("delimiter", delimiter)
      // Infer all columns as String
      .option("inferSchema", "false")
      option("mode", "FAILFAST")
      .option("parserLIb", "univelocity")
      .option("charset", "utf-8")
      .load(s"$path/$fileName$fileExtension")
      .replaceNullValues()
      .removeSpecialChars()

Файл присутствует на S3 и путь имеет s3a: ///folder....

Answer 1

Возможно, ваша учетная запись не имеет разрешения на чтение файла, но это также может означать, что файл зашифрован с помощью ключа KMS, для которого у вас нет разрешения на использование.