как читать внешнюю таблицу HIVE, используя потоковую передачу - PullRequest
Новая
       26

как читать внешнюю таблицу HIVE, используя потоковую передачу

0 голосов
/ 07 февраля 2019

Я пытаюсь выполнить операцию JOIN для моих данных потоковой передачи с использованием одной из внешних таблиц HIVE.Но когда я пытаюсь загрузить данные из таблицы улья, я получаю таблицу / представление не найдено.Но это существует.мой вопрос: не можем ли мы прочитать внешнюю таблицу улья в потоковой передаче с искрой?

следующая ошибка: 

 org.apache.spark.sql.AnalysisException: Table or view not found

следующий код 

  rdd1.foreachRDD((rdd, time) => {
 val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)
 import sqlContext.implicits._
  val requestsDataFrame = rdd.map(w => Record(w._1, w._2, w._3,w._4, w._5, 
  w._6,w._7, w._8)).toDF()
 requestsDataFrame.createOrReplaceTempView("requests")
 val word_df =sqlContext.sql("select * from  requests ")
 val word_df2 =sqlContext.sql("select * from  area.map ")

  println(s"========= $time =========")
  word_df.show()
 word_df2.count()
 })

Может кто-нибудь помочь какчитать таблицу улья в потоковом искре?Я новичок в потоковом мире!

...