Как переместить столбцы в строки в Java Spark - PullRequest
Новая
       4

Как переместить столбцы в строки в Java Spark

0 голосов
/ 26 февраля 2020

Я хочу переместить некоторые столбцы моей таблицы в строку. Я использую Java и Spark 2.1.2. Вот мой стол: 

+-----+-----+-----+-----+-----+  
|  A  |col_1|col_2|col_3|col_4|   
+-----+-----------------+------+    
|  1  |  0.0|  0.6|  0.8| 0.9|   
|  2  |  0.6|  0.7|  0.7| 1.2|   
|  3  |  0.5|  0.9|  1.8| 9.1|  
|  ...|  ...|  ...|  ...| ...|

Я бы хотел что-то подобное: 

+-----+--------+-----------+    
|  A  | col_id | col_value |  
+-----+--------+-----------+  
|  1  |   col_1|        0.0|  
|  1  |   col_2|        0.6|     
|  1  |   col_3|        0.8|  
| ... |    ... |        ...|     
|  2  |   col_1|        0.6|  
|  2  |   col_2|        0.7|   
|  ...|     ...|        ...|    
|  3  |   col_1|        0.5|  
|  3  |   col_2|        0.9|  
|  ...|     ...|        ...| and so on

Кто-нибудь знает, как я могу это сделать? Я знаю, что решение существует для Python, но я пытаюсь сделать это, используя Java.

Я попробовал этот метод 

 df.selectExpr("stack(4, 'col_1', col_1, 'col_2', col_2', col_3', col_3,'col_4', col_4)as (Key,Value)");

Но он не работает.

РЕДАКТИРОВАТЬ:

Мне удалось получить результат, используя вышеуказанный подход. Оказывается, я использовал SparkContext вместо SQLContext, с которым он работал отлично.

1 Ответ

0 голосов
/ 26 февраля 2020

Решение Используя Spark- scala: 

def transpose(spark: SparkSession, df: DataFrame, transposeUsing: Seq[String]): DataFrame = {
import spark.implicits._
val (cols, types) = df.dtypes.filter{ case (c, _) => !transposeUsing.contains(c)}.unzip

val kvdf = explode(array(cols.map(c => struct(lit(c).alias("column_name"),col(c).alias("column_value"))): _*))

val constantCols = transposeUsing.map(col(_))

df.select(constantCols :+ kvdf.alias("_kvdf"): _*)
  .select(constantCols ++ Seq($"_kvdf.column_name", $"_kvdf.column_value"): _*)
}
 //call the function
transpose(df, Seq("A")).show()
...