У меня есть определенный сценарий создания извлечения файла dat/delimited в scala/spark; просто нужно несколько предложений по альтернативному подходу.
Создание заголовка и трейлера:
val header = Seq(filename,system_time)
Seq(header).toDS.write.text(s"/path/to/header/creation/dir")
val trailer = Seq(rowscount,filename)
Seq(header).toDS.write.text(s"/path/to/trailer/creation/dir")
Я извлек из таблицы улья в кадре данных:
val df = sql("select * from hive")
Dataframe имеет другую схему, чем заголовок / трейлер. В настоящее время я просто объединяю header-df-trailer и создаю окончательный файл.
Мой вопрос: разве у нас нет возможности создать окончательный файл без необходимости хранить их отдельно и объединять?