При использовании combinebyKey
получена ошибка несоответствия типов, как следует
scala> rdd.map(x => (x._1, x._2))
.combineByKey( (x: Int) => x,
(acc: SortedSet[Int], x: Int) => (acc += x),
(acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))
<console>:29: error: type mismatch;
found : (scala.collection.mutable.SortedSet[Int], Int) => scala.collection.mutable.SortedSet[Int]
required: (Any, Int) => Any
rdd.map(x => (x._1, x._2)).combineByKey( (x: Int) => x, (acc: SortedSet[Int], x: Int) => (acc += x), (acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))
^
<console>:29: error: type mismatch;
found : (scala.collection.mutable.SortedSet[Int], scala.collection.mutable.SortedSet[Int]) => scala.collection.mutable.SortedSet[Int]
required: (Any, Any) => Any
rdd.map(x => (x._1, x._2)).combineByKey( (x: Int) => x, (acc: SortedSet[Int], x: Int) => (acc += x), (acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))
Почему скала не может трактовать scala.collection.mutable.SortedSet[Int]
как Any
Вот код, который я пробовал:
import scala.collection.mutable.SortedSet
val data = Array((1, 1, 1),
(1, 1, 2),
(1, 1, 3),
(1, 2, 1),
(1, 2, 2),
(1, 2, 3),
(2, 1, 1),
(2, 1, 2),
(2, 1, 3),
(2, 2, 1),
(2, 2, 2),
(2, 2, 3))
val rdd = sc.parallelize(data)
rdd.map(x => (x._1, x._2))
.combineByKey( (x: Int) => x,
(acc: SortedSet[Int], x: Int) => (acc += x),
(acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))
Я ожидал получить
((1, (1,2)), (2, (1,2)), значение которых в парах ключ / значение не содержит дублированных элементов.