Spark / Zeppelin 0.8.1 - Почему интерпретатор pyspark не работает из коробки? - PullRequest
Новая
       19

Spark / Zeppelin 0.8.1 - Почему интерпретатор pyspark не работает из коробки?

0 голосов
/ 15 марта 2019

Я пытаюсь запустить интерпретатор %spark.pyspark в учебном руководстве по Zeppelin по умолчанию, но получаю сообщение об ошибке ниже.Что я делаю не так? 

# In the Zeppelin 0.8.1 Tutorial this is %pyspark as written
%spark.pyspark
import os


java.lang.RuntimeException: No pyspark.zip found under /opt/spark/python/lib
    at org.apache.zeppelin.spark.PythonUtils.sparkPythonPath(PythonUtils.java:51)
    at org.apache.zeppelin.spark.PySparkInterpreter.setupPySparkEnv(PySparkInterpreter.java:218)
    at org.apache.zeppelin.spark.PySparkInterpreter.createGatewayServerAndStartScript(PySparkInterpreter.java:291)
    at org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:194)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:616)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:188)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:140)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

Это немного похоже на интерпретатор pyspark, которого нет в apache zeppelin , ответы которого у меня не сработали.

Также,Я работаю в Куберне через https://github.com/SnappyDataInc/spark-on-k8s/tree/chart_upgrade_2.4/charts/zeppelin-with-spark: \

...