Блоки данных: разделение датафреймов с помощью разнесения

Question

Предположим, у меня есть следующий кадр данных искры

И я хотел бы перейти к следующему кадру данных. Нужно использовать функцию разнесения?

Answer 1

вы можете использовать arrays_zip, чтобы получить пары, а затем использовать функцию разнесения.

import org.apache.spark.sql.functions.{col, explode, arrays_zip}
dfx.withColumn("zipped", arrays_zip(col("MemberProperty"), col("Value")))
  .withColumn("exploded", explode(col("zipped")))
  .drop("MemberProperty", "Value")
  .withColumn("MemberProperty", col("exploded.MemberProperty"))
  .withColumn("Value", col("exploded.Value"))