Я пытаюсь подключиться к Kinesis с Apache Spark 2.4.0 в автономном режиме.Я предоставляю свои учетные данные следующим методом:
val cred = SparkAWSCredentials.builder.basicCredentials("{awsAccessKeyId}", "{awsSecretAccessKey}").build()
и получаю такую ошибку:
java.lang.NoSuchMethodError: org.apache.spark.internal.Logging. $init $ (Lorg / apache / spark / internal / Logging;) V в org.apache.spark.streaming.kinesis.BasicCredentials. (SparkAWSCredentials.scala: 51) в org.apache.spark.streaming.kinesis.SparkAWSCredentials $ Builder.basicCredentials (SparkAWSCredentials.scala: 116) на $ line18. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 34) в $ line18. $ Читать $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 39) в$ line18. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 41) в $ line18. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 43) на $ line18. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 45) на $ line18. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 47) на $ line18. $читать $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 49) на $ line18. $ read $$ iw $$ iw $$ iw $$ iw $$ iw. (: 51)на $ line18. $ read $$ iw $$ iw $$ iw $$ iw. (: 53) на $ line18. $ read $$ iw $$ iw $$ iw. (: 55) на $ line18. $ read $$ iw $$ iw. (: 57) в $ line18. $ read $$ iw.(: 59) в $ line18. $ Read. (: 61) в $ line18. $ Read $. (: 65) в $ line18. $ Read $. () В $ line18. $ Eval $. $ Print $ lzycompute (: 7) в $ line18. $ Eval $. $ Print (: 6) в $ line18. $ Eval. $ Print () в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessormpmp.java: 62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в scala.tools.nsc.interpreter.IMint. $ Читатьвызов (IMain.scala: 793) в scala.tools.nsc.interpreter.IMain $ Request.loadAndRun (IMain.scala: 1054) в scala.tools.nsc.interpreter.IMain $ WrappedRequest $$ anonfun $ loadAndRunReq $ 1.apply (IMain.scala: 645) на scala.tools.nsc.interpreter.IMain $ WrappedRequest $$ anonfun $ loadAndRunReq $ 1.apply (IMain.scala: 644) на scala.reflect.internal.util.ScalaClassLoader $ class.asContext (ScalaClassLoader).scala: 31) в scala.reflect.internal.util.AbstractFileClassLoader.asContext (AbstractFileClassLoader.scala: 19) в scala.tools.nsc.interpreter.IMain $ WrappedRequest.loadAndRunReq (IMain.scala: 644) в scala.tools.nsc.interpreter.IMain.interpret (IMain.scala: 576) в scala.tools.nsc.interpreter.IMain.interpret (IMain.scala: 572) на scala.tools.nsc.interpreter.ILoop.interpretStartingWith (ILoop.scala: 819) на scala.tools.nsc.interpreter.ILoop.command (ILoop.scala: 691) на scala.tools.nsc.interpreter.ILoop.processLine (ILoop.scala: 404) в scala.tools.nsc.interpreter.ILoop.loop (ILoop.scala: 425) в org.apache.spark.repl.SparkILoop $$ anonfun $ process $ 1.apply$ mcZ $ sp (SparkILoop.scala: 285) в org.apache.spark.repl.SparkILoop.runClosure (SparkILoop.scala: 159) в org.apache.spark.repl.SparkILoop.process (SparkILoop.scala: 182) вorg.apache.spark.repl.Main $ .doMain (Main.scala: 78) в org.apache.spark.repl.Main $ .main (Main.scala: 58) в org.apache.spark.repl.Main.main (Main.scala) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.spark.deploy.JavaMainApplication.start (SparkAppache) atg: SparkApplication.g:.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 849) в org.apache.spark.deploy.SparkSubmit.doRunMain $ 1 (SparkSubmit.scala: 167) в org.apache.spark.deploy.SparkSubmit.submit (SparkSubmit.scala: 195) в org.apache.spark.deploy.SparkSubmit.doSubmit (SparkSubmit.scala: 86)в org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit (SparkSubmit.scala: 924) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 933) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)
Когда я пытаюсь соединиться с учетными данными, предоставленными в качестве переменной среды, или установив их с помощью:
sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "{}")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey","{}")
I`mполучение такой ошибки:
java.lang.NoSuchMethodError: scala.Product. $ init $ (Lscala / Product;) V в org.apache.spark.streaming.kinesis.DefaultCredentials $. (SparkAWSCredentials $.scala: 39) по адресу org.apache.spark.streaming.kinesis.DefaultCredentials $. (SparkAWSCredentials.scala) по адресу org.apache.spark.streaming.kinesis.KinesisInputDStream $ Builder.в scala.Option.getOrElse (Option.scala: 121) в org.apache.spark.streaming.kinesis.KinesisInputDStream $ Builder.buildWithMessageHandler (KinesisInputDStream.scala: 291) в org.apache.spark.streaming.kinesis.tisIn $ Builder..build (KinesisInputDStream.scala: 302) на $ line24. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 43) в $ line24. $ Read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 48) в$ line24. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 50) в $ line24. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 52) на $ line24. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 54) на $ line24. $ read $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 56) на $ line24. $читать $$ iw $$ iw $$ iw $$ iw $$ iw $$ iw. (: 58) на $ line24. $ read $$ iw $$ iw $$ iw $$ iw $$ iw. (: 60)на $ line24. $ read $$ iw $$ iw $$ iw $$ iw. (: 62) на $ line24. $ read $$ iw $$ iw $$ iw. (: 64) на $ line24. $ read $$ iw $$ iw. (: 66) на $ line24. $ read $$ iw. (: 68) на $ line24. $ read. (: 70) на $ line24. $ read $. (: 74) на $ line24.. $ read $. () в $ line24. $ eval $. $ print $ lzycompute (: 7) в $ line24. $ eval $. $ print (: 6) в $ line24. $ eval. $ print () на солнце.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invokeMccatingessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в scala.tools.nsc.interpreter.IMain $ ReadEvalPrint.call (IMain.scala: 793) в scala.tools.nsc.interpreter.IMain $ Request.loadAndRun (IMain.scala: 1054) на scala.tools.nsc.interpreter.IMain $ WrappedRequest $$ anonfun $ loadAndRunReq $ 1.apply (IMain.scala: 645) на scala.tools.nsc.interpreter.IMain $ WrappedRequest $$ anonfun $ loadAndRunReq $ 1.apply (IMain.scala: 644) в scala.reflect.internal.util.ScalaClassLoader $ class.asContext (ScalaClassLoader.scala: 31) в scala.reflect.internal.uileC.asContext (AbstractFileClassLoader.scala: 19) в scala.tools.nsc.interpreter.IMain $ WrappedRequest.loadAndRunReq (IMain.scala: 644) в scala.tools.nsc.interpreter.IMain.interpret (IMain.scala: 576) вscala.tools.nsc.interpreter.IMain.interpret (IMain.scala: 572) в scala.tools.nsc.interpreter.ILoop $$ anonfun $ 20.apply (ILoop.scala: 762) в scala.tools.nsc.interpreter.ILoop $$ anonfun $ 20.apply (ILoop.scala: 762) на сайте scala.tools.nsc.interpreter.IMain.withLabel (IMain.scala: 116) на scala.tools.nsc.interpreter.ILoop.interpretCode $ 1 (ILoop.scala: 762) на scala.tools.nsc.interpreter.ILoop.pasteCommand (ILoop.scala: 776) на scala.tools.nsc.interpreter.ILoop $$ anonfun $ standardCommands $ 9.apply (ILoop.scala: 217) в scala.tools.nsc.interpreter.ILoop $$ anonfun $ standardCommands $ 9.apply (ILoop.scala: 217) в scala.tools.nsc.interpreter.LoopCommands $ LineCmd.apply (LoopCommands.scala: 62) в scala.tools.nsc.interpreter.ILoop.colonCommand (ILoop.scala: 698) в scala.tools.nsc.interpreter.ILoop.command (ILoop.scala: 689) по адресу scala.tools.nsc.interpreter.ILoop.processLine (ILoop.scala: 404) по адресу scala.tools.nsc.interpreter.ILoop.loop (ILoop.scala: 425)в org.apache.spark.repl.SparkILoop $$ anonfun $ process $ 1.apply $ mcZ $ sp (SparkILoop.scala: 285) в org.apache.spark.repl.SparkILoop.runClosure (SparkILoop.scala: 159) в org.apache.spark.repl.SparkILoop.process (SparkILoop.scala: 182) в org.apache.spark.repl.Main $ .doMain (Main.scala: 78) в org.apache.spark.repl.Main $ .main(Main.scala: 58) в org.apache.spark.repl.Main.main (Main.scala) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.на52) в org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 849) в org.apache.spark.deploy.SparkSubmit.doRunMain $ 1 (SparkSubmit.scala:167) в org.apache.spark.deploy.SparkSubmit.submit (SparkSubmit.scala: 195) в org.apache.spark.deploy.SparkSubmit.doSubmit (SparkSubmit.scala: 86) в org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit (SparkSubmit.scala: 924) в org.apache.spark.deploy.SparkSubmit $.main (SparkSubmit.scala: 933) в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)
Может кто-нибудь помочь?