Несоответствие типов, найдено SortedSet, обязательно Any - PullRequest
0 голосов
/ 01 апреля 2019

При использовании combinebyKey получена ошибка несоответствия типов, как следует

scala> rdd.map(x => (x._1, x._2))
          .combineByKey( (x: Int) => x, 
                         (acc: SortedSet[Int], x: Int) => (acc += x), 
                         (acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))

<console>:29: error: type mismatch;
 found   : (scala.collection.mutable.SortedSet[Int], Int) => scala.collection.mutable.SortedSet[Int]
 required: (Any, Int) => Any
       rdd.map(x => (x._1, x._2)).combineByKey( (x: Int) => x, (acc: SortedSet[Int], x: Int) => (acc += x), (acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))
                                                                                             ^
<console>:29: error: type mismatch;
 found   : (scala.collection.mutable.SortedSet[Int], scala.collection.mutable.SortedSet[Int]) => scala.collection.mutable.SortedSet[Int]
 required: (Any, Any) => Any
       rdd.map(x => (x._1, x._2)).combineByKey( (x: Int) => x, (acc: SortedSet[Int], x: Int) => (acc += x), (acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))

Почему скала не может трактовать scala.collection.mutable.SortedSet[Int] как Any

Вот код, который я пробовал:

import scala.collection.mutable.SortedSet
val data = Array((1, 1, 1), 
                 (1, 1, 2),
                 (1, 1, 3),
                 (1, 2, 1),
                 (1, 2, 2),
                 (1, 2, 3), 
                 (2, 1, 1), 
                 (2, 1, 2), 
                 (2, 1, 3), 
                 (2, 2, 1), 
                 (2, 2, 2), 
                 (2, 2, 3))
val rdd = sc.parallelize(data)

rdd.map(x => (x._1, x._2))
   .combineByKey( (x: Int) => x, 
                  (acc: SortedSet[Int], x: Int) => (acc += x), 
(acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))

Я ожидал получить ((1, (1,2)), (2, (1,2)), значение которых в парах ключ / значение не содержит дублированных элементов.

1 Ответ

4 голосов
/ 01 апреля 2019

Возвращаемый тип первой функции должен быть отсортированным набором, искра должна знать, как построить объединители.Примерно так должно работать

rdd.map(x => (x._1, x._2)).combineByKey( 
  (x: Int) => new mutable.TreeSet[Int] += x, 
  (acc: SortedSet[Int], x: Int) => (acc += x), 
  (acc1: SortedSet[Int], acc2: SortedSet[Int]) => (acc1 ++= acc2))
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...