Невозможно выполнить агрегацию для 2-х значений с помощью groupByKey в spark с использованием scala

Question

Этот вопрос касается groupByKey () в spark с использованием scala.

Рассмотрим ниже данные

Name,marks,value
Chris,30,1
Chris,35,1
Robert,12,1
Robert,20,1

Создано ниже rdd

val dataRDD = sc.parallelize(List(("Chris",30,1),("Chris",35,1),("Robert",12,1),("Robert",20,1)))

Я пытаюсь создать пару ключ-значение, например

val kvRDD = dataRDD.map(rec=> (rec._1, (rec._2,rec._3)))

Теперь я хочу сумму обоих значений.

val sumRDD = kvRDD.groupByKey().map(rec => (rec._1,(rec._2._1.sum, rec._2._2.sum)))

Однако я сталкиваюсь с ошибкой ниже.

<console>:28: error: value _2 is not a member of Iterable[(Int, Int)]

Разве мы не можем добиться необходимого, используя groupByKey?

Answer 1

Значение kvRDD равно array из tuple, поэтому вы можете суммировать array значения напрямую, вы можете сделать, как показано ниже

val sumRDD=kvRDD.groupByKey.map(rec=>(rec._1,(rec._2.map(_._1).sum,rec._2.map(_._2).sum)))

//Output
scala> sumRDD.collect
res11: Array[(String, (Int, Int))] = Array((Robert,(32,2)), (Chris,(65,2)))

Answer 2

Вместо groupByKey я бы предложил использовать более эффективную reduceByKey:

val dataRDD = sc.parallelize(Seq(
  ("Chris",30,1), ("Chris",35,1), ("Robert",12,1), ("Robert",20,1)
))

val kvRDD = dataRDD.map(rec => (rec._1, (rec._2, rec._3)))

val sumRDD = kvRDD.reduceByKey{ (acc, t) =>
  (acc._1 + t._1, acc._2 + t._2)
}

sumRDD.collect
// res1: Array[(String, (Int, Int))] = Array((Robert,(32,2)), (Chris,(65,2)))