Spark Interpreter не работает в Zeppelin - PullRequest
Новая
       26

Spark Interpreter не работает в Zeppelin

0 голосов
/ 03 мая 2018

Я использую Zeppelin 0.7.0 для запуска заданий Spark. My Zeppelin - это отдельная установка, тогда как Spark была установлена ​​с использованием Hortonworks / Ambari (версия 2.6). Когда я проверяю статус Spark в Ambari, он становится зеленым. Zeppelin работает отлично для многих переводчиков. Однако интерпретатор Spark не работает. Все, что я пытаюсь сделать, даже такое простое, как sc.version, выдает точно такую ​​же ошибку: 

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:652)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

Эта ошибка произошла очень неожиданно. Интерпретатор Spark работал нормально до тех пор, пока несколько недель назад не появилась эта ошибка. Я перезапустил Spark и Zeppelin, но ошибка не исчезла. В конфигурационные файлы Zeppelin или Spark не было внесено никаких изменений, чтобы вызвать это.

Ответы [ 2 ]

0 голосов
/ 04 мая 2018

Пожалуйста, проверьте журнал интерпретатора больше, ошибка, которую вы видите из-за сбоя при создании SparkContext, вам нужно проверить журнал, чтобы увидеть, почему не удалось создать SparkContext.

0 голосов
/ 03 мая 2018

У меня была такая же проблема с Zeppelin, и она была исправлена ​​с настройкой Интерпретатора.

  1. Перейти к интерпретатору, найти и выбрать искру Interpreter
  2. Нажмите «Изменить» и добавьте name и value как zeppelin.spark.useHiveContext = false

Надеюсь, это работает!

...