Я хочу сделать руководство по Spark в проекте SBT, какие библиотеки мне нужно установить?

Question

Я хочу сделать краткое руководство по Apache Spark .Я хотел бы использовать рабочий лист Scala в IntelliJ для каждого из примеров.

Что мне нужно добавить в мою конфигурацию SBT, чтобы эта работа работала?В настоящее время у меня есть:

libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.0"

Но этого недостаточно, чтобы все заработало.Что еще мне нужно установить, чтобы все работало?

Answer 1

Попробуйте с такими:

libraryDependencies += "org.apache.spark" % "spark-core_2.12" % "2.4.0"
libraryDependencies += "org.apache.spark" % "spark-sql_2.12" % "2.4.0"
libraryDependencies += "org.apache.spark" % "spark-mllib_2.12" % "2.4.0"