Как разбить столбец на список и сохранить его в новый файл .csv

Question

У меня есть фрейм данных с двумя столбцами: студенческий билет и их курсы. Столбец курса имеет несколько значений, разделенных «;». Как разделить жанры на список и сохранить каждую пару (studentID, genre1), (studetID, genre2) в новый файл CSV?

Answer 1

Вы можете попробовать split и explode:

  val df =  Seq((1,("a;b;c"))).toDF("id","values")
  df.show()

  val df2 = df.select($"id", explode(split($"values",";")).as("value"))
  df2.show()

  df2.write.option("header", "true").csv("/path/to/csv");

+---+------+
| id|values|
+---+------+
|  1| a;b;c|
+---+------+

+---+-----+
| id|value|
+---+-----+
|  1|    a|
|  1|    b|
|  1|    c|
+---+-----+