Как получить вывод groupby, как показано ниже в spark scala - PullRequest
0 голосов
/ 07 апреля 2020

После запуска groupby я получил результат как

+--------------------+-----+
|                City|count|
+--------------------+-----+
|               Tyler|    2|
|           Fairbanks|    1|
|         Springfield|   12|
|          Charleston|    7|
|              Corona|    2|

Я хочу тот же результат, что и ниже

Tyler : 2
Fairbanks : 1
Springfield : 12

Я должен сделать это в scala spark .. not pysaprk

1 Ответ

0 голосов
/ 07 апреля 2020

Этот вопрос немного неясен. Пожалуйста, добавьте больше данных, например, как вы печатаете первый вывод (размещение кода поможет). Остальное, основываясь на выводе, я могу думать, что вы просто берете некоторые значения из RDD и печатаете на консоли с печатью по умолчанию. Если это так, попробуйте отобразить данные на основе ваших требований к выходным данным, а затем используйте .mkstring ("\ n") поверх них. Таким образом, псевдокод будет выглядеть так:

collectedResult.map(x=>s"${x._1} : ${x._2}").mkString("\n")

Примечание. Это просто пример, который может не работать в редакторе. Также, если размер результата слишком велик, такой подход вообще не рекомендуется.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...