Преобразовать ключи в имена столбцов и значения в строки (Карта)

Question

У меня есть фрейм данных, который содержит столбец Map и столбец id.

key1 -> value1, key2 -> value2
key1 -> value3, key2 -> value4

Я хочу получить в результате такой кадр данных:

id   key1     key2
1    value1   value2
2    value3   value4

Спасибо за вашу помощь.

Answer 1

Полагаю, вы говорите о Spark DataFrame. В этом случае вы можете использовать метод map объекта DataFrame, чтобы извлечь нужные значения. Вот пример использования spark-shell (который автоматически импортирует многие из неявных методов).

Обратите внимание, что toDF используется дважды, один раз для загрузки последовательности из встроенных структур данных, а другой раз для переименуйте столбцы в новом DataFrame, полученном из метода map исходного DataFrame.

Метод show вызывается для отображения «до» и «после»

scala> import org.apache.spark.sql.Row
import org.apache.spark.sql.Row

scala> val m = Map(1-> Map("key1" -> "v1", "key2" -> "v2"), 2 -> Map("key1" -> "v3", "key2" -> "v4"))
m: scala.collection.immutable.Map[Int,scala.collection.immutable.Map[String,String]] = Map(1 -> Map(key1 -> v1, key2 -> v2), 2 -> Map(key1 -> v3, key2 -> v4))

scala> val df = m.toSeq.toDF("id", "map_value")
df: org.apache.spark.sql.DataFrame = [id: int, map_value: map<string,string>]

scala> df.show()
+---+--------------------+
| id|           map_value|
+---+--------------------+
|  1|[key1 -> v1, key2...|
|  2|[key1 -> v3, key2...|
+---+--------------------+ 

scala> val get_map:Function1[Row, Map[String,String]] = r => r.getAs[Map[String, String]]("map_value")
get_map: org.apache.spark.sql.Row => Map[String,String] = <function1>

scala> df.map(r => (r.getAs[Int]("id"), get_map(r).get("key1"), get_map(r).get("key2"))).toDF("id", "val1", "val2").show()
+---+----+----+
| id|val1|val2|
+---+----+----+
|  1|  v1|  v2|
|  2|  v3|  v4|
+---+----+----+

Редактировать:

Это ответ, как обратиться к переменному количеству столбцов. Здесь N - количество столбцов плюс один (таким образом, имеется 7 столбцов, а N равно 8). Обратите внимание, что 3 - это число строк плюс одна (здесь 2 строки).

В этом случае удобнее использовать метод DataFrame select, чтобы избежать необходимости динамически создавать кортежи.

scala> val N = 8
N: Int = 8

scala> val map_value:Function1[Int,Map[String,String]] = (i: Int) => Map((for (n <- Range(1, N)) yield (s"k${n}", s"v${n*i}")).toList:_*)
map_value: Int => Map[String,String] = <function1>

scala> val m = Map((for (i <- Range(1, 3)) yield (i, map_value(i))).toList:_*)
m: scala.collection.immutable.Map[Int,Map[String,String]] = Map(1 -> Map(k2 -> v2, k5 -> v5, k6 -> v6, k7 -> v7, k1 -> v1, k4 -> v4, k3 -> v3), 2 -> Map(k2 -> v4, k5 -> v10, k6 -> v12, k7 -> v14, k1 -> v2, k4 -> v8, k3 -> v6))

scala> val df0 = m.toSeq.toDF("id", "map_value")
df0: org.apache.spark.sql.DataFrame = [id: int, map_value: map<string,string>]

scala> val column_names:List[String] = (for (n <- Range(1, N)) yield (s"map_value.k${n}")).toList
column_names: List[String] = List(id, map_value.k1, map_value.k2, map_value.k3, map_value.k4, map_value.k5, map_value.k6, map_value.k7)

scala> df0.select("id", column_names:_*).show()
+---+---+---+---+---+---+---+---+
| id| k1| k2| k3| k4| k5| k6| k7|
+---+---+---+---+---+---+---+---+
|  1| v1| v2| v3| v4| v5| v6| v7|
|  2| v2| v4| v6| v8|v10|v12|v14|
+---+---+---+---+---+---+---+---+