Получение ошибки в EMR (доступ к корзине S3 запрещен) - PullRequest
Новая
       49

Получение ошибки в EMR (доступ к корзине S3 запрещен)

0 голосов
/ 27 ноября 2018

Я пытаюсь прочитать данные и записать вывод в корзину S3, используя функцию Step, но не могу сделать.Ошибка «Ниже». 

Status :FAILED
Reason : S3 Service Error.
Log File : s3://test-system/Log/EMR/j-27THIBBI6291N/steps/s-F9UPNCV45OHA/stderr.gz
Details : Caused by: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: 0E94EA8E20FE8396), S3 Extended Request ID: 9QxTxb3bzNwPnIieC8UAAtnAcJp+Z4RgM+aqBSki7RjLW8pRHZiII30dU6Bm0qYAHrS2MQcE9r4=
JAR location : command-runner.jar
Main class : None

Я попробовал тот же код в моем Intellij и могу читать / записывать файлы данных из / в корзину s3.

Я использовал Accesskey и Secreyвведите мой код и до сих пор получаю ту же ошибку.Я вызываю файл JAR через лямбда-функцию в функции шага.

Мой код: 

val df = spark.read.format("csv").option("header","true").option("inferSchema","true").load("s3a://test-system/test.csv")
    sloggeri.debug("File Processing...","import_jar","sampleifleread","")
    df.createOrReplaceTempView("data")

    sloggeri.debug("File Processing...1....","import_jar","sampleifleread","")
    val res = spark.sql("select count(*) from data")
    sloggeri.debug("File Reading completed...","import_jar","sampleifleread","")

    res.coalesce(1).write.format("csv").option("header","true").mode("Overwrite")
      .save("s3a://test-system/Output/Test_Result")

Код выше работает и проверен.Не могли бы вы помочь мне в этом вопросе?

Большое спасибо.

...