Короткий ответ - нет. Во время сборки все ваши зависимости будут собраны Maven или Sbt. Дополнительной установки Spark не требуется.
Также во время выполнения (это может также включать выполнение модульного теста во время сборки), вам не обязательно нужна установка Spark. Если значение SPARK_HOME
не установлено на допустимую установку Spark, значения по умолчанию будут использоваться для конфигурации времени выполнения Spark.
Однако, как только вы захотите запустить задания Spark на удаленном кластере (с помощью spark-submit
), вам потребуется установка Spark.