Как собрать zeppelin 0.8.0 со встроенной искрой 2.3.2 - PullRequest
0 голосов
/ 16 января 2019

Я хочу собрать zeppelin 0.8.0 со встроенной искрой 2.3.2 и запустить ее на той же версии spark, работающей не локально, без установки SPARK_HOME, чтобы мне не требовалось устанавливать SPARK на узле zeppelin. Я пробовал варианты сборки, приведенные в документе https://zeppelin.apache.org/docs/0.8.0/setup/basics/how_to_build.html, но сборка не удалась при попытке собрать для scala 2.10.

Возможно ли это даже с версией 0.8.0?

Таким образом, вы можете создать снимок 0.8.1 с помощью spark 2.3.2. Но, однако, вы не можете подключиться к внешнему искровому узлу, используя встроенные двоичные искровые файлы, не предоставив отдельную установку искры с помощью SPARK_HOME.

1 Ответ

0 голосов
/ 16 января 2019

Вы можете объединить код из этого запроса на извлечение , и тогда профиль spark-2.3 будет создан с помощью spark 2.3.2 и не будет работать с ошибкой scala 2.10.

Или дождитесь 0.8.1 ( сегодня был отмечен первый кандидат! )

...