невозможно подключиться к свече minio-s3 - PullRequest
Новая
       57

невозможно подключиться к свече minio-s3

0 голосов
/ 09 марта 2020

Я пытаюсь подключиться к s3, предоставленному minio, используя spark, но он говорит, что мини-куб ведра не существует . (уже создана корзина) 

val spark = SparkSession.builder().appName("AliceProcessingTwentyDotTwo")
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer").master("local[1]")
    .getOrCreate()
  val sc= spark.sparkContext
  sc.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
  sc.hadoopConfiguration.set("fs.s3a.endpoint", "http://localhost:9000")
  sc.hadoopConfiguration.set("fs.s3a.access.key", "minioadmin")
  sc.hadoopConfiguration.set("fs.s3a.secret.key", "minioadmin")
  sc.hadoopConfiguration.set("fs.s3`a`.path.style.access", "true")
  sc.hadoopConfiguration.set("fs.s3a.connection.ssl.enabled","false")  
  sc.textFile("""s3a://minikube/data.json""").collect()

Я использую следующее руководство для подключения.

https://github.com/minio/cookbook/blob/master/docs/apache-spark-with-minio.md

Это зависимости, которые я использовал в scala.

"org. apache .spark "%%" spark-core "%" 2.4.0 "," org. apache .spark "%%" spark- sql "%" 2.4.0 "," com.amazon aws "%" aws - java -sdk "%" 1.11.712 "," org. apache .had oop "%" имели oop - aws "%" 2.7.3 ",

1 Ответ

2 голосов
/ 11 марта 2020

Попробуйте спарк 2.4.3 без has oop и используйте Had oop 2.8.2 или 3.1.2. После попытки шагов по ссылке ниже, я могу подключить Minio, используя Cli

https://www.jitsejan.com/setting-up-spark-with-minio-as-object-storage.html

...