Scala Spark: как создать новые столбцы для таблицы с именами из значений столбцов 1 и column2 и значением column3 в качестве содержимого - PullRequest
0 голосов
/ 27 июня 2018

Как можно преобразовать кадр данных с помощью следующего оригинальная форма:

+----+----+----+----+----+
|col0|col1|col2|col3|col4|
+----+----+----+----+----+
|  #1|   A|   1|  C3|  I4|
|  #1|   A|   2|  D3|  J4|
|  #1|   A|   3|  E3|  K4|
|  #1|   B|   1|  F3|  L4|
|  #1|   B|   2|  G3|  M4|
|  #1|   B|   3|  H3|  N4|
|  #2|   A|   1|  O3|  U4|
|  #2|   A|   2|  P3|  V4|
|  #2|   A|   3|  Q3|  W4|
|  #2|   B|   1|  R3|  X4|
|  #2|   B|   2|  S3|  Y4|
|  #2|   B|   3|  T3|  Z4|
+----+----+----+----+----+

до следующего
Желаемая форма:

+----+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+
|col0|col1_A_col2_1_col3|col1_A_col2_2_col3|col1_A_col2_3_col3|col1_B_col2_1_col3|col1_B_col2_2_col3|col1_B_col2_3_col3|col1_A_col2_1_col4|col1_A_col2_2_col4|col1_A_col2_3_col4|col1_B_col2_1_col4|col1_B_col2_2_col4|col1_B_col2_3_col4|
+----+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+
|  #1|        C3        |        D3        |        E3        |        F3        |        G3        |        H3        |        I3        |        J4        |        K4        |        L4        |        M4        |        N4        |
|  #2|        O3        |        P3        |        Q3        |        R3        |        S3        |        T3        |        U3        |        V4        |        W4        |        X4        |        Y4        |        Z4        |
+----+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+------------------+

для создания планшета.

...