Может ли функция limitByKey изменить ключ? - PullRequest
2 голосов
/ 18 апреля 2019

Я новичок в зажигании, и, вероятно, у меня нет хорошего понимания сокращения по ключу. Я хочу сохранить идентификатор кластера, ближайший к точке.

distancePointMicrocluster: RDD[Point,(ClusterId: Int, Distance: Double)]

    val nearestClusterToPoint = distancesPointMicrocluster.reduceByKey((x,y) => if (x._2 < y._2) x else y )

Ввод и вывод функции enter image description here

1 Ответ

1 голос
/ 22 апреля 2019

Проблема была не в функции reduceByKey, а в том, что я не сохранил точки в памяти. В результате я воссоздал очки в каждом действии, и по этой причине pointIds не были одинаковыми.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...