Я обновил версию spark с 1.6 до 2.1.1.Я обновил версию Java и версию Scala.Но когда я запускаю spark-shell. Я получаю следующую ошибку при запуске spark-shell.Пожалуйста, помогите мне с этим. Я новичок в искре.Пожалуйста, опубликуйте какой-нибудь шаг, чтобы исправить эту ошибку.Ошибка отображается при запуске spark-shell.
18/10/16 11:59:37 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File
/ user / cloudera / .sparkStaging / application_1539716150434_0001 / spark_conf .zip можно реплицировать только на 0 узлов вместо minReplication (= 1).Работает 0 датоде (ов), и ни один из узлов не исключен в этой операции.в org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock (BlockManager.java:1720) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock (FSNamesystem.java:3440) в org..hadoop.hdfs.server..protocolPB.ProtoBufRpcInvoker.call (ProtobufRpcEngine.java:617) в org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:1073) в org.apache.hadoop.ipc.Server $ Обработчик $ 1.run (Server.java): 2226) at org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2222) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1917) в org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2220)
at org.apache.hadoop.ipc.Client.call(Client.java:1469)
at org.apache.hadoop.ipc.Client.call(Client.java:1400)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
at com.sun.proxy.$Proxy13.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:399)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy14.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1532)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1349)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588)
18/10/16 11:59:37 ОШИБКАspark.SparkContext: Ошибка инициализации SparkContext.org.apache.hadoop.ipc.RemoteException (java.io.IOException): файл /user/cloudera/.sparkStaging/application_1539716150434_0001/spark_conf.zip можно было реплицировать только на 0 узлов вместо minReplication (= 1).Работает 0 датоде (ов), и ни один из узлов не исключен в этой операции.в org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock (BlockManager.java:1720) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock (FSNamesystem.java:3440) в org..hadoop.hdfs.server..protocolPB.ProtoBufRpcInvoker.call (ProtobufRpcEngine.java:617) в org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:1073) в org.apache.hadoop.ipc.Server $ Обработчик $ 1.run (Server.java): 2226) at org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2222) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1917) в org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2220)
at org.apache.hadoop.ipc.Client.call(Client.java:1469)
at org.apache.hadoop.ipc.Client.call(Client.java:1400)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
at com.sun.proxy.$Proxy13.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:399)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy14.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1532)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1349)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588)
18/10/16 11:59:37 WARNcluster.YarnSchedulerBackend $ YarnSchedulerEndpoint: Попытка запросить исполнителей до регистрации AM!18/10/16 11:59:37 ОШИБКА util.Utils: необработанное исключение в главном потоке java.lang.NullPointerExceptionв org.apache.spark.network.shuffle.ExternalShuffleClient.close (ExternalShuffleClient.java:152) в org.apache.spark.storage.BlockManager.stop (BlockManager.scala: 1407) в org.apache.spark.SparkEnv.stop(SparkEnv.scala: 89) в org.apache.spark.SparkContext $$ anonfun $ stop $ 11.apply $ mcV $ sp (SparkContext.scala: 1849) в org.apache.spark.util.Utils $ .tryLogNonFatalError (Утилиты.scala: 1283) в org.apache.spark.SparkContext.stop (SparkContext.scala: 1848) в org.apache.spark.SparkContext. (SparkContext.scala: 587) в org.apache.spark.SparkContext $ .getOrCreate (SparkContete.scala: 2320) в org.apache.spark.sql.SparkSession $ Builder $$ anonfun $ 6.apply (SparkSession.scala: 868) в org.apache.spark.sql.SparkSession $ Builder $$ anonfun $ 6.apply (SparkSession.scala: 860) в scala.Option.getOrElse (Option.scala: 121) в org.apache.spark.sql.SparkSession $ Builder.getOrCreate (SparkSession.scala: 860) в org.apache.spark.repl.Main $.createSparkSession (Main.scala: 96) в $ line3. $ read $$ iw $$ iw. (: 15) в $ line3. $ read $$ iw. (: 42) в $ line3. $ read. (: 44) в $ line3. $ read $. (: 48) в $ line3. $ read $. () в $ line3. $ eval $. $ print $ lzycompute (: 7) в $ line3. $ eval$. $ print (: 6) в $ line3. $ eval. $ print () в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.ref.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в scala.tools.nsc.interpreter.IMain $ ReadEvalPrint.call 7 (IMain).scala.tools.nsc.interpreter.IMain $ Request.loadAndRun (IMain.scala: 1047) в scala.tools.nsc.interpreter.IMain $ WrappedRequest $$ anonfun $ loadAndRunReq $ 1.apply (IMain.scala: 638) в scala.tools.nsc.interpreter.IMain $ WrappedRequest $$ anonfun $ loadAndRunReq $ 1.apply (IMain.scala: 637) в scala.reflect.internal.util.ScalaClassLoader $ class.asContext (ScalaClassLoader.scala: 31) в scala.reflect.internal.util.AbstractFileClassLoader.asContext (AbstractFileClassLoader.scala: 19) в scala.tools.nsc.interpreter.IMain $ WrappedRequest.loadAndRunReq (IMain.scala: 637) на scala.tools.nsc.interpreter.IMain.interpret (IMain.scala: 569) на scala.tools.nsc.interpreter.IMain.interpret (IMain.scala: 565)в scala.tools.nsc.interpreter.ILoop.interpretStartingWith (ILoop.scala: 807) в scala.tools.nsc.interpreter.ILoop.command (ILoop.scala: 681) в scala.tools.nsc.interpreter.ILoop.processLine(ILoop.scala: 395) в org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply $ mcV $ sp (SparkILoop.scala: 38) в org.apache.spark.repl.SparkILoop $$ anonfun $initializeSpark $ 1.apply (SparkILoop.scala: 37) в org.apache.spark.repl.SparkILoop $$ anonfun $ initializeSpark $ 1.apply (SparkILoop.scala: 37) в scala.tools.nsc.interpreter.IMain.beQuietDuring (IMain.scala: 214) в org.apache.spark.repl.SparkILoop.initializeSpark (SparkILoop.scala: 37) в org.apache.spark.repl.SparkILoop.loadFiles (SparkILoop.scala: 105) в scala.tools.nsc.interpreter.ILoop $$ anonfun $ process $ 1.apply $ mcZ $ sp (ILoop.scala: 920) в scala.tools.nsc.interpreter.ILoop $$ anonfun $обработать $ 1.apply (ILoop.scala: 909) в scala.tools.nsc.interpreter.ILoop $$ anonfun $ обработать $ 1.apply (ILoop.scala: 909) в scala.reflect.internal.util.ScalaClassLoader $ .savingContextLoader (ScalaClassLoader.scala: 97) в scala.tools.nsc.interpreter.ILoop.process (ILoop.scala: 909) в org.apache.spark.repl.Main $ .doMain (Main.scala: 69) в org.apache.spark.repl.Main $ .main (Main.scala: 52) в org.apache.spark.repl.Main.main (Main.scala) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498)в org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 743) в org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1 (SparkSubmit.scala:187) в org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 212) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 126) в org.apache.spark.deploy.SparkSubmit.= 1).Работает 0 датоде (ов), и ни один из узлов не исключен в этой операции.в org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock (BlockManager.java:1720) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock (FSNamesystem.java:3440) в org..hadoop.hdfs.server..protocolPB.ProtoBufRpcInvoker.call (ProtobufRpcEngine.java:617) в org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:1073) в org.apache.hadoop.ipc.Server $ Обработчик $ 1.run (Server.java): 2226) at org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2222) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1917) в org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2220)
в org.apache.hadoop.ipc.Client.call (клиент.java: 1469) в org.apache.hadoop.ipc.Client.call (Client.java:1400) в org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke (ProtobufRpcEngine.java:232) в com.sun.proxy. $ Proxy13.addBlock (Неизвестный источник) по адресу org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock (ClientNamenodeProtocolTranslatorPB.java:399) в sun.reflect.NativeMethodAccessormp.hod.homp.hod.Omp.Omp.Omp.Omp.Omp.Omp.Omp.Omp.Omp.Ofinvoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) org. org..RetryInvocationHandler.invokeMethod (RetryInvocationHandler.java:187) в org.apache.hadoop.io.retry.RetryInvocationHandler.invoke (RetryInvocationHandler.java:102) в com.sun.proxy..hadoop.hdfs..run (DFSOutputStream.java:588): 14: ошибка: не найдено: значение spark spark import spark.implicits._ ^: 14: ошибка: не найдено: значение spark import import spark.sql ^