Как сгладить несколько RDD на молнии? - PullRequest
1 голос
/ 10 июля 2019

Я заархивировал три RDD и в результате получил вложенную структуру.

val rdd1 = sc.parallelize(List(1, 2, 3))
val rdd2 = sc.parallelize(List(3, 4, 5))
val rdd3 = sc.parallelize(List(6, 7, 8))

val finalRDD = rdd1.zip(rdd2).zip(rdd3)

finalRDD выглядит как

((1,3),6)
((2,4),7)
((3,5),8)

Как мне сгладить структуру следующим образом?

(1,3,6)
(2,4,7)
(3,5,8)

1 Ответ

2 голосов
/ 10 июля 2019

как то так должно работать

finalRDD.map(r => (r._1._1,r._1._2,r._2))
...