Я хочу обработать таблицу кустов с помощью Spark, ниже конфигурация, которую я сделал: но при запуске моей программы
я получил следующую ошибку:
Исключение в потоке «main» java. lang.IllegalArgumentException: невозможно создать экземпляр SparkSession с поддержкой Hive, поскольку классы Hive не найдены.
========================== ================================================== =====
мой код:
объект spark_on_hive_table extends App {
// val хранилищеLocation = new File ("spark-склад" ) .getAbsolutePath
val sparksess = SparkSession
.builder()
.appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", "hdfs://localhost:54310/user/hive/warehouse")
.enableHiveSupport()
.getOrCreate()
import sparksess.implicits ._
import sparksess. sql
// == > hdfs: // localhost: 54310 / user / hive / inventory
sql («выберите * из pbSales»). show ()
}
== =========================== build.sbt ============== ========================================
версия: = " 0,1 "
scalaVersion: = "2.11.12"
"org. apache .spark" %% "spark-core"% sparkVersion,
"org. apache .spark" %% "spark- sql "% sparkVersion,
" org. apache .spark "%%" spark-streaming "% sparkVersion,
" org. apache .spark "%%" spark-hive "%" 2.3.2 "%" при условии "
)