Запустить спарк-снаряд от сбт

Question

По умолчанию способ получения spark shell для загрузки дистрибутива с сайта .Тем не менее, эта проблема с искрой упоминает, что она может быть установлена ​​через sbt.Я не мог найти документацию по этому вопросу.В проекте sbt, который использует spark-sql и spark-core, двоичный файл spark-shell не найден.

Как запустить spark-shell из sbt?

Answer 1

Со следующего URL:

https://bzhangusc.wordpress.com/2015/11/20/use-sbt-console-as-spark-shell/

Если вы уже используете Sbt для своего проекта, очень просто настроить Sbt Console вместо команды Spark-shell.Начнем с основного случая.Когда вы настраиваете проект с помощью sbt, вы можете просто запустить консоль как sbt console

Внутри консоли вам просто нужно запустить SparkContext и SQLContext, чтобы он вел себя как Spark Shell

scala> val sc = new org.apache.spark.SparkContext("localhell")
scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)