Какие зависимости добавить в проект scala для Apache Spark?

Question

Мне нужно использовать следующие библиотеки -

import org.apache.spark.SparkConf
import org.apache.spark.graphx.GraphLoader
import org.apache.spark.sql.SparkSession

Каковы зависимости, которые будут добавлены в Scala от Intellij

Answer 1

Как правильно ответил Шанкар, вы можете использовать инструмент Maven или Sbt. Лучший способ начать проект scala, особенно с Intelij, - это запустить sbt new в командной строке следующим образом:

sbt new scala/scala-seed.g8

После этого вы просто импортируете проект в Intelij, а затем Intelij автоматически обнаруживает, что это проект sbt.

Затем я могу легко добавить любые зависимости в файл build.sbt, как описано Шанкаром.

Обратите внимание, что после добавления каждой зависимости Intelij обнаруживает изменения и просит вас обновить проект.

Так что в вашем случае простой build.sbt файл будет выглядеть так:

import Dependencies._

lazy val root = (project in file(".")).
  settings(
     inThisBuild(List(
     organization := "com.example",
     scalaVersion := "2.11.12",
     version      := "0.1.0-SNAPSHOT"
)),
name := "scalatweet",
libraryDependencies ++= Seq(
  scalaTest % Test,
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion,
  "org.apache.spark" %% "spark-graphx" % sparkVersion
 )
 )

И чтобы убедиться, что вы добавили правильную зависимость для своего проекта, найдите библиотеку в maven репозитории и обратите внимание на версию Scala, которую вы используете для совместимости зависимостей.

Answer 2

Для тех, кого вы использовали в import, вам обычно нужно

Если вы используете maven

<properties>
    <spark.version>2.2.0</spark.version>
</properties>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>${spark.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-graphx_2.11</artifactId>
    <version>${spark.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>${spark.version}</version>
</dependency>

Если вы используете sbt

val sparkVersion = "2.2.0"
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion,
  "org.apache.spark" %% "spark-graphx" % sparkVersion
}

Где spark.version и sparkVersion - версии используемой искры. 2.2.0 используется здесь, но вы можете выбрать любой другой.

Если вы не используете sbt или maven, вам нужно загрузить файл jar этих библиотек и добавить в ваш проект.

Надеюсь, это поможет