У меня есть два фрейма данных, которые я объединяю с помощью объединения.После выполнения объединения распечатка окончательного фрейма данных с использованием df.show () показывает, что записи расположены в указанном порядке (первые записи фрейма данных вверху, а затем вторые записи фрейма данных).Но когда я записываю этот последний фрейм данных в CSV-файл, записи из первого фрейма данных, которые я хочу разместить в верхней части CSV-файла, теряют свою позицию.Записи первого фрейма данных смешиваются с записями второго фрейма данных.Любая помощь будет оценена.
Ниже приведен пример кода:
val intVar = 1
val myList = List(("hello",intVar))
val firstDf = myList.toDF()
val secondDf: DataFrame = testRdd.toDF()
val finalDF = firstDf.union(secondDf)
finalDF.show() // prints the dataframe with firstDf records on the top followed by the secondDf records
val outputfilePath = "/home/out.csv"
finalDF.coalesce(1).write.csv(outputFilePath) //the first Df records are getting mixed with the second Df records.