Невозможно создать каталог хранилища spark, используя spark-2.3.0 - PullRequest
Новая
       11

Невозможно создать каталог хранилища spark, используя spark-2.3.0

0 голосов
/ 12 июня 2018

Я хочу создать проект с аккой и искрой.Я добавил зависимости и некоторые другие зависимости тоже.Являются ли эти зависимости каким-либо образом повлиять на использование искры.

У меня есть файл ниже sbt 

    dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-core" % "2.8.7"
    dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-databind" % "2.8.7"
    dependencyOverrides += "com.fasterxml.jackson.module" % "jackson-module-scala_2.11" % "2.8.7"

lazy val commonSettings = Seq(
  organization := "com.bitool.analytics",
  scalaVersion := "2.11.12",
  libraryDependencies ++= Seq(
    "org.scala-lang.modules" %% "scala-async" % "0.9.6",
    "com.softwaremill.macwire" %% "macros" % "2.3.0",
    "com.softwaremill.macwire" %% "macrosakka" % "2.3.0",
    "com.typesafe.akka" %% "akka-http" % "10.0.6",
    "io.swagger" % "swagger-jaxrs" % "1.5.19",
    "com.github.swagger-akka-http" %% "swagger-akka-http" % "0.9.1",
    "io.circe" %% "circe-generic" % "0.8.0", 
    "io.circe" %% "circe-literal" % "0.8.0", 
    "io.circe" %% "circe-parser" % "0.8.0", 
    "io.circe" %% "circe-optics" % "0.8.0", 
    "org.scalafx" %% "scalafx" % "8.0.144-R12",
    "org.scalafx" %% "scalafxml-core-sfx8" % "0.4",
    "org.apache.spark" %% "spark-core" % "2.3.0",
    "org.apache.spark" %% "spark-sql" % "2.3.0",
    "org.apache.spark" %% "spark-hive" % "2.3.0",
    "org.scala-lang" % "scala-xml" % "2.11.0-M4",
    "mysql" % "mysql-connector-java" % "6.0.5"
  )
)
lazy val root = (project in file(".")).
  settings(commonSettings: _*).
  settings(
    name := "BITOOL-1.0"
  )
ivyScala := ivyScala.value map {
  _.copy(overrideScalaVersion = true)
}
fork in run := true

и ниже мой искровой код 

private val warehouseLocation = new File("spark-warehouse").getAbsolutePath
val conf = new SparkConf()
  conf.setMaster("local[4]")
  conf.setAppName("Bitool")
  conf.set("spark.sql.warehouse.dir", warehouseLocation)

  val SPARK = SparkSession
    .builder().config(conf).enableHiveSupport()
    .getOrCreate()
  val SPARK_CONTEXT = SPARK.sparkContext

Когда я пытаюсьвыполнить это, он создает папку metastore_db, но папка spark-warehouse не создается.

...