утверждение не выполнено: нет плана для MetastoreRelation ext_sub_cust_profile - PullRequest
0 голосов
/ 13 февраля 2019

Я получаю следующую проблему, когда присоединяюсь к 2 DF в потоковой передаче искры.Не могли бы вы помочь мне решить эту проблему.

Утверждение не удалось: Нет плана для MetastoreRelation test_db ext_sub_cust_profile.

  val custPomerDF: DataFrame = hiveContext.sql("select rowkey, mkt_opto_flag, thrd_party_opto_flag from test_db.sub_cust_profile")
val custProfileDF: DataFrame = broadcast(custPomerDF.as( "custProfile"))

messages.foreachRDD { rdd =>
  val decodedMessages: RDD[SubscriberDetails] = decodeMessage(rdd).filter(_.key != null)

  val sqlContext = new SQLContext(sparkContext)
  import sqlContext.implicits._

  val decodeMessagesDF: DataFrame = decodedMessages.toDF()
  //val enrichedDF: DataFrame = decodeMessagesDF.join(broadcast(custProfileDF), (decodeMessagesDF( "key") === custProfileDF("rowkey")) && (custProfileDF("mkt_opto_flag") === "N") && (custProfileDF("thrd_party_opto_flag") === "N"))

  val enrichedDF: DataFrame = decodeMessagesDF.join(broadcast(custProfileDF), $"key" === $"rowkey", "inner")

 decodeMessagesDF.write
    .format("kafka")
    .option("kafka.bootstrap.servers", kafkaBrokers)
    .option("topic", outputTopic)
    .save() 

}

sub_cust_profile - представление, созданное из ext_sub_cust_profile.Спасибо.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...