Присоединяйтесь к Dstream [Document] и Rdd по ключу Spark Scala - PullRequest
0 голосов
/ 01 сентября 2018

Вот мой код:

ssc =streamingcontext(sparkcontext,Seconds(time))
spark = sparksession.builder.config(properties).getorcreate()

val Dstream1: ReceiverInputDstream[Document] =  ssc.receiverStream(properties) // Dstream1 has Id1 and other fields

val Rdd2 = spark.sql("select Id1,key from hdfs.table").rdd // RDD[Row]

Есть ли способ, которым я могу присоединиться к этим двум?

...