Zipplin с искрой - PullRequest
Новая
       15

Zipplin с искрой

0 голосов
/ 27 марта 2019

Я пытаюсь запустить Spark через Zepplin . Я установил Zepplin в моем macOS и запустил Zepplin , используя: 

$ zeppelin-daemon.sh start

Также, чтобы убедиться, что моя Spark запущена и работает, я проверил jps как 

$ jps

и я получил 

$ jps
58544 ZeppelinServer
769 QuorumPeerMain
50261 Launcher
58581 RemoteInterpreterServer
28854 
30056 Launcher
36506 Application
58618 RemoteInterpreterServer
58764 Jps
750 Kafka
32799 Application

Я заметил, что spark-submit не показан в списке выше, поэтому я запустил новое окно командной строки и запустил spark-shell, затем, когда я снова запустил jps, я получил spark-submit в приведенном списке как: 

58961 RemoteInterpreterServer
769 QuorumPeerMain
59010 RemoteInterpreterServer
58932 ZeppelinServer
50261 Launcher
28854 
59240 SparkSubmit
30056 Launcher
59256 Jps
36506 Application
750 Kafka
32799 Application

Теперь, когда я пытаюсь проверить SparkContext, используя sc в Zepplin URL на http://localhost:8080/#/notebook/, я получил следующее сообщение об ошибке: 


scala.reflect.internal.MissingRequirementError: object java.lang.Object in compiler mirror not found.
    at scala.reflect.internal.MissingRequirementError$.signal(MissingRequirementError.scala:17)
    at scala.reflect.internal.MissingRequirementError$.notFound(MissingRequirementError.scala:18)
    at scala.reflect.internal.Mirrors$RootsBase.getModuleOrClass(Mirrors.scala:53)
    at scala.reflect.internal.Mirrors$RootsBase.getModuleOrClass(Mirrors.scala:45)
    at scala.reflect.internal.Mirrors$RootsBase.getModuleOrClass(Mirrors.scala:45)
    at scala.reflect.internal.Mirrors$RootsBase.getModuleOrClass(Mirrors.scala:66)
    at scala.reflect.internal.Mirrors$RootsBase.getClassByName(Mirrors.scala:102)
    at scala.reflect.internal.Mirrors$RootsBase.getRequiredClass(Mirrors.scala:105)
    at scala.reflect.internal.Definitions$DefinitionsClass.ObjectClass$lzycompute(Definitions.scala:257)
    at scala.reflect.internal.Definitions$DefinitionsClass.ObjectClass(Definitions.scala:257)
    at scala.reflect.internal.Definitions$DefinitionsClass.init(Definitions.scala:1394)
    at scala.tools.nsc.Global$Run.<init>(Global.scala:1215)
    at scala.tools.nsc.interpreter.IMain.compileSourcesKeepingRun(IMain.scala:432)
    at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.compileAndSaveRun(IMain.scala:855)
    at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.compile(IMain.scala:813)
    at scala.tools.nsc.interpreter.IMain.bind(IMain.scala:675)
    at scala.tools.nsc.interpreter.IMain.bind(IMain.scala:712)
    at scala.tools.nsc.interpreter.IMain$$anonfun$quietBind$1.apply(IMain.scala:711)
    at scala.tools.nsc.interpreter.IMain$$anonfun$quietBind$1.apply(IMain.scala:711)
    at scala.tools.nsc.interpreter.IMain.beQuietDuring(IMain.scala:214)
    at scala.tools.nsc.interpreter.IMain.quietBind(IMain.scala:711)
    at org.apache.zeppelin.spark.SparkScala211Interpreter$.loopPostInit$1(SparkScala211Interpreter.scala:141)
    at org.apache.zeppelin.spark.SparkScala211Interpreter$.org$apache$zeppelin$spark$SparkScala211Interpreter$$loopPostInit(SparkScala211Interpreter.scala:176)
    at org.apache.zeppelin.spark.SparkScala211Interpreter.open(SparkScala211Interpreter.scala:86)
    at org.apache.zeppelin.spark.NewSparkInterpreter.open(NewSparkInterpreter.java:102)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:62)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:616)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:188)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:140)
    at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:514)
    at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
    at java.base/java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:304)
    at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1135)
    at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
    at java.base/java.lang.Thread.run(Thread.java:844)

Любая помощь будет оценена заранее.

Спасибо

...