scala: как исправить тип «option» после leftOuterJoin - PullRequest
0 голосов
/ 08 февраля 2020

Дано

scala> val rdd1 = sc.parallelize(Seq(("a",1),("a",2),("b",3)))
scala> val rdd2 = sc.parallelize(Seq("a",5),("c",6))
scala> val rdd3 = rdd1.leftOuterJoin(rdd2)
scala> rdd3.collect()
res: Array[(String, (Int, Option[Int]))] = Array((a,(1,Some(5))), (a,(2,Some(5))), (b,(3,None)))

Мы можем видеть, что тип данных "Option [Int]" в rdd3. Есть ли способ исправить это так, что rdd3 может быть Array [String, (Int, Int)]? Предположим, мы можем указать значение (например, 999) для «None».

1 Ответ

0 голосов
/ 08 февраля 2020
scala> val result = rdd3.collect() 
scala> result.map(t => (t._1, (t._2._1, t._2._2.getOrElse(999))))

Это должно сделать это.

...