Я получаю следующую проблему, когда присоединяюсь к 2 DF в потоковой передаче искры.Не могли бы вы помочь мне решить эту проблему.
Утверждение не удалось: Нет плана для MetastoreRelation test_db ext_sub_cust_profile.
val custPomerDF: DataFrame = hiveContext.sql("select rowkey, mkt_opto_flag, thrd_party_opto_flag from test_db.sub_cust_profile")
val custProfileDF: DataFrame = broadcast(custPomerDF.as( "custProfile"))
messages.foreachRDD { rdd =>
val decodedMessages: RDD[SubscriberDetails] = decodeMessage(rdd).filter(_.key != null)
val sqlContext = new SQLContext(sparkContext)
import sqlContext.implicits._
val decodeMessagesDF: DataFrame = decodedMessages.toDF()
//val enrichedDF: DataFrame = decodeMessagesDF.join(broadcast(custProfileDF), (decodeMessagesDF( "key") === custProfileDF("rowkey")) && (custProfileDF("mkt_opto_flag") === "N") && (custProfileDF("thrd_party_opto_flag") === "N"))
val enrichedDF: DataFrame = decodeMessagesDF.join(broadcast(custProfileDF), $"key" === $"rowkey", "inner")
decodeMessagesDF.write
.format("kafka")
.option("kafka.bootstrap.servers", kafkaBrokers)
.option("topic", outputTopic)
.save()
}
sub_cust_profile - представление, созданное из ext_sub_cust_profile.Спасибо.