понимание зависимости искры - PullRequest
0 голосов
/ 10 мая 2018

Я пытаюсь понять, как работает spark с Maven, у меня следующий вопрос: нужно ли мне установить spark на моей машине, чтобы создать приложение spark (в scala) с maven?Или мне просто добавить искровую зависимость в POM.xml моего проекта maven

С уважением

1 Ответ

0 голосов
/ 10 мая 2018

Короткий ответ - нет. Во время сборки все ваши зависимости будут собраны Maven или Sbt. Дополнительной установки Spark не требуется.

Также во время выполнения (это может также включать выполнение модульного теста во время сборки), вам не обязательно нужна установка Spark. Если значение SPARK_HOME не установлено на допустимую установку Spark, значения по умолчанию будут использоваться для конфигурации времени выполнения Spark.

Однако, как только вы захотите запустить задания Spark на удаленном кластере (с помощью spark-submit), вам потребуется установка Spark.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...