Как получить различное значение, количество столбцов в кадре данных и сохранить в другом кадре данных в виде пары (k, v), используя Spark2 и Scala - PullRequest
Новая
       36

Как получить различное значение, количество столбцов в кадре данных и сохранить в другом кадре данных в виде пары (k, v), используя Spark2 и Scala

0 голосов
/ 09 октября 2019

Я хочу получить отдельные значения и соответствующие им значения для каждого столбца кадра данных и сохранить их как (k, v) в другом кадре данных. Примечание. Мои столбцы не являются статичными, они постоянно меняются. Таким образом, я не могу жестко задавать имена столбцов, вместо этого я должен их циклически проходить.

Например, ниже приведен мой фрейм данных 

+----------------+-----------+------------+
|name            |country    |DOB         |
+----------------+-----------+------------+
|       Blaze    |        IND|    19950312|
|       Scarlet  |        USA|    19950313|
|       Jonas    |        CAD|    19950312|
|       Blaze    |        USA|    19950312|
|       Jonas    |        CAD|    19950312|
|       mark     |        USA|    19950313|
|       mark     |        CAD|    19950313|
|       Smith    |        USA|    19950313|
|       mark     |        UK |    19950313|
|       scarlet  |        CAD|    19950313|

Мой окончательный результат должен быть создан в новом фрейме данных как (k, v) где k - отдельная запись, а v - ее количество. 

+----------------+-----------+------------+
|name            |country    |DOB         |
+----------------+-----------+------------+
|   (Blaze,2)    |   (IND,1) |(19950312,3)|
|   (Scarlet,2)  |   (USA,4) |(19950313,6)|
|   (Jonas,3)    |   (CAD,4) |            |
|   (mark,3)     |   (UK,1)  |            |
|   (smith,1)    |           |            |

Может кто-нибудь помочь мне с этим, я использую Spark 2.4.0 и Scala 2.11.12

Примечание. Мои столбцы являются динамическими, поэтому я не могу жестко закрепить столбцы и группировать их.

...