Преобразование кадра данных в rdd с потерей заголовков столбцов

Question

Я пробовал нижеприведенное, но после данных идут столбцы заголовков, в идеале это должен быть первый столбец!

Может кто-нибудь помочь мне в этом, пожалуйста!

val header = sc.parallelize(Seq(df.columns.mkString("|"))) 
val data = df.map(_.mkString("|")) 
val final = header.union(data) 
final.coalesce(1).saveAsTextFile("path")

Answer 1

почему бы вам не записать фрейм данных в файл напрямую.

использовать приведенный ниже код для записи фрейма данных, разделенных каналом, в файл:

mydf.coalesce(1)
      .write
      .option("header","true")
      .option("sep","|")
      .mode("overwrite")
      .csv("output/path") 

для преобразования фрейма данных в rdd, просто используйте mydf.rdd