У меня нет системы hadoop в моей системе, но у меня есть winutils, и я получаю эту ошибку при запуске куста в spark в моем локальном компьютере: -
Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found.
at org.apache.spark.sql.SparkSession$Builder.enableHiveSupport(SparkSession.scala:869)
at com.sebi.count.ScalaSix$.main(ScalaSix.scala:14)
at com.sebi.count.ScalaSix.main(ScalaSix.scala)
Мой код: -
package com.sebi.count
import org.apache.spark.sql.SparkSession
object ScalaSix {
def main(args: Array[String]): Unit = {
System.setProperty("hadoop.home.dir", "C:/winutils")
val warehouseLocation = "spark-warehouse"
val spark = SparkSession.builder().appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", warehouseLocation).enableHiveSupport().getOrCreate()
spark.sparkContext.setLogLevel("ERROR")
val df = spark.sql("CREATE TABLE IF NOT EXITS NAME(Id Int, Name String, Age Int,Salary Int)")
val df1 = spark.sql("LOAD DATA LOCAL INPATH 'C:/Users/rittde/IdeaProjects/untitled/src/main/resources' " +
"into table Name")
val df2 = spark.sql("select * from Name")
df2.show()
}
Моя зависимость от sbt: -
name := "untitled"
version := "0.1"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.0" libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.4.0" %"provided"
Подскажите, пожалуйста, как устранить ошибку.Заранее спасибо.