Ошибка при сохранении коллекции искр на S3 - PullRequest
0 голосов
/ 31 октября 2019

Исключение в потоке "main" java.io.IOException: Нет файловой системы для схемы: S3

   spark.sparkContext.hadoopConfiguration.set("fs.s3.awsAccessKeyId","8888888888888888888")
   spark.sparkContext.hadoopConfiguration.set("fs.s3.awsSecretAccessKey","AKIA2APTGNWJUHKOWU5Y,m93O4xLVomStGIwj932x+8lO8/")

     val config = Config(Map(
       "url" -> "******.database.windows.net",
       "databaseName" -> "UATShakeShackOlo",
       "queryCustom" -> "SELECT  * FROM dbo.Adjustment",
       "user" -> "***************",
       "password" -> "*************"

     ))

     val collection = spark.read.sqlDB(config)
     collection.coalesce(1).write.format("csv").save("S3://snowflakess/ShakeShack_POC/Customers.csv") 

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...