Spark Scala: конвертировать столбцы в список

Question

У меня есть следующая структура данных, представляющая имя столбца (первый столбец) и значения для него - что-то вроде этого:

|col1       |col2            |col3       |columnname   |
+-----------+----------------+-----------+-------------+
|Very High  |High            |Medium     |predchurnrisk|
|Active     |Lapsed          |Renew      |userstatus   |
|Very High  |High            |Medium     |predinmarket |
|High flyers|Watching Pennies|Big pockets|predsegmentid|
|Male       |Female          |Others     |usergender   |
+-----------+----------------+-----------+-------------+

Я хочу переменную domainvalues ​​типа Array [(String, List [String])]

[predchurnrisk,(Very High, High, Medium)]
[userstatus,(Active, Lapsed, Renew)]
.

Как это можно сделать с картой или foreach?

Answer 1

В качестве начала:

val df = sc.parallelize(Seq(("Very High","High","Medium","predchurnrisk"),("Active","Lapsed","Renew","userstatus"))).toDF("col1","col2","col3","columnname")
import org.apache.spark.sql.functions._
import spark.implicits._
df.withColumn("arr", array("col1", "col2", "col3")).drop("col1","col2","col3").show

Это печатает прилагаемый

, может быть, вы можете взять его отсюда, ура!