ReduceByKey в спарк-скале в rdd не работает - PullRequest
Новая
       47

ReduceByKey в спарк-скале в rdd не работает

0 голосов
/ 10 ноября 2019

Я пытаюсь суммировать все оценки на основе studentId. Я использовал lowerByKey. Но это бросает ошибку. Может кто-нибудь помочь мне, как решить эту проблему. 

scala> studentPairRDD.foreach(println)

Id,subject,marks,class

(3,social,40,10)

(4,maths,45,10)

(4,science,30,9)

(1,maths,90,8)

(1,science,90,9)

(1,social,80,10)

(2,maths,100,8)

(2,science,100,9)

(2,social,90,10)

(3,maths,35,9)

(3,science,36,8)

(4,social,42,8)

(5,maths,20,8)

(5,social,40,9)

(5,science,35,10)

на основе вышеупомянутого результата я применил lowerbyKey для суммирования оценок studentId. Но это ошибка 

val totalmarksRDD = studentPairRDD.reduceByKey(_+_)

<console>:31: error: value reduceByKey is not a member of 

org.apache.spark.rdd.RDD[(String, String, String, Double)]

val totalmarksRDD = studentPairRDD.reduceByKey(_+_)

Может кто-нибудь помочь мне, как это исправить?

...