403 с hadoop-aws и s3proxy - PullRequest
Новая
       11

403 с hadoop-aws и s3proxy

0 голосов
/ 23 сентября 2019

Я пытаюсь использовать s3proxy с Hadoop 3.1.2, но я получаю ошибку 403, тогда как с hadoop 2.7, похоже, работает.Это регрессия или неправильная конфигурация на моей стороне?

s3proxy config 

s3proxy.endpoint=http://127.0.0.1:4242
s3proxy.authorization=aws-v2
s3proxy.identity=local-identity
s3proxy.credential=local-credential
jclouds.provider=filesystem
jclouds.filesystem.basedir=/tmp/s3proxy

Простой код scala 

sc.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
sc.hadoopConfiguration.set("fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider")
sc.hadoopConfiguration.set("fs.s3a.endpoint", "127.0.0.1:4242")
sc.hadoopConfiguration.set("fs.s3a.connection.ssl.enabled", "false")
sc.hadoopConfiguration.set("fs.s3a.access.key", "local-identity")
sc.hadoopConfiguration.set("fs.s3a.secret.key", "local-credential")
val rdd = sc.textFile("s3a://wiki/test.json")
rdd.collect().foreach(println)

с tree /tmp/s3proxy

/tmp/s3proxy/
└── wiki
    └── test.json

С hadoop2.7 я получаю правильный вывод. 

cat demo_wiki/test01.scala | ./spark-2.4.4-bin-hadoop2.7/bin/spark-shell --jars hadoop-aws-2.7.3.jar,aws-java-sdk-1.7.4.jar

, но с hadoop3.1.2 я получаю ошибку 403. 

cat demo_wiki/test01.scala | ./spark-2.4.4-bin-hadoop3.1/bin/spark-shell --jars hadoop-aws-3.1.2.jar,aws-java-sdk-bundle-1.11.271.jar

Вывод:

2019-09-23 15:23:32 WARN  MetricsConfig:134 - Cannot locate configuration: tried hadoop-metrics2-s3a-file-system.properties,hadoop-metrics2.properties
java.nio.file.AccessDeniedException: s3a://wiki/test.json: getFileStatus on s3a://wiki/test.json: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: 4442587FB7D0A2F9; S3 Extended Request ID: null), S3 Extended Request ID: null:403 Forbidden

Есть идеи?

1 Ответ

0 голосов
/ 24 сентября 2019

Нашел ответ, глядя на Dockerfile (https://github.com/gaul/s3proxy/blob/master/Dockerfile#L24)

Правильный конфиг s3proxy: 

s3proxy.endpoint=http://127.0.0.1:4242
s3proxy.authorization=aws-v2-or-v4
s3proxy.identity=local-identity
s3proxy.credential=local-credential
jclouds.provider=filesystem
jclouds.filesystem.basedir=/tmp/s3proxy

И командная строка с последней (на тот момент) версией spark-2.4.4 + hadoop-3.2.0 + aws-sdk-1.11.636 работает нормально 

cat test.scala | ./spark-2.4.4-bin-hadoop3.2/bin/spark-shell --jars hadoop-aws-3.2.0.jar,aws-java-sdk-bundle-1.11.636.jar
...