Создать отдельную строку для типа массива Spark DataFrame

Question

у меня есть следующая схема свечей данных

root
 |-- UserId: long (nullable = true)
 |-- VisitedCountry: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- Name: string (nullable = false
 |    |    |-- Id: long (nullable = false)

я хочу преобразовать каждую VisitedCountry в отдельную строку в новом фрейме данных

root
 |-- UserId: long (nullable = true)
 |-- CountryName: string (nullable = false)
 |-- CountryId: long (nullable = false)

Answer 1

Взорваться и выбрать, на Scala:

df.withColumn("exploded", explode($"VisitedCountry"))
  .select($"UserId",
    $"exploded.Name".alias("CountryName"),
    $"exploded.ID".alias("CountryId")
  )

Answer 2

Вы, вероятно, захотите использовать функцию разнесения.

проверить https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=explode

Я не уверен, как это будет работать со структурами.