Добавить строку к паре RDD в спарк

Question

У меня есть пара СДР из существующих значений, таких как: (1,2) (3,4) (5,6)

Я хочу добавить строку (7,8) к тому же СДР

Как я могу добавить к тому же RDD в Spark?

Answer 1

Вы можете использовать операцию объединения.

scala> val rdd1 = sc.parallelize(List((1,2), (3,4), (5,6)))
q: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[1] at parallelize at <console>:24

scala> val rdd2 = sc.parallelize(List((7, 8)))
q: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[1] at parallelize at <console>:24

scala> val unionOfTwo = rdd1.union(rdd2)
res0: org.apache.spark.rdd.RDD[(Int, Int)] = UnionRDD[2] at union at <console>:28