Spark RDD операция суммирования значений по ключам

Question

У меня есть Spark RDD, как показано ниже: СДР [строка] со значениями вроде:

(00,"asfad", 12)
(01,"fdfdf", 14)
(02,"fdfsfdg",232)
(00, "asfad", 34)
(01, "fdfdf", 12)

Теперь я хочу что-то вроде этого:

 (00,"asfad",46)
 (01, "fdfdf",26)
 (02, "fdfsfdg",232) 

Пожалуйста, предложите способ добиться этого с помощью scala

Answer 1

Если у вас есть что-то подобное RDD [(Int, String, Int)], тогда вы можете попробовать это

rdd.map { case (a, b, c) => ((a, b), c) }.reduceByKey((x, y) => x + y).map { case ((a, b), c) => (a, b, c) }