В фрейме данных Spark, как перенести строки в столбцы?

Question

это может быть очень простой вопрос. Я хочу перенести все строки фрейма данных в столбцы. Я хочу преобразовать этот df, как показано ниже, вывод DF. Какими способами можно добиться этого в Spark?

Примечание: у меня есть один столбец на входе DF

import sparkSession.sqlContext.implicits._
val df = Seq(("row1"), ("row2"), ("row3"), ("row4"), ("row5")).toDF("COLUMN_NAME")
df.show(false)

    Input DF:
    +-----------+
    |COLUMN_NAME|
    +-----------+
    |row1       |
    |row2       |
    |row3       |
    |row4       |
    |row5       |
    +-----------+

    Output DF
    +----+----+----+----+----+
    |row1|row2|row3|row4|row5|
    +----+----+----+----+----+
  

Answer 1

Это вам поможет?

df.withColumn("group",monotonicallyIncreasingId  ).groupBy("group").pivot("COLUMN_NAME").agg(first("COLUMN_NAME")).show