Я прочитал данные из таблицы Hive, отсортированные как файл Parquet, в DF. После применения некоторых преобразований к DataFrame я хочу сохранить обратно как TextFile в HDFS.
Я использую следующий фрагмент кода. Но я сталкиваюсь со следующими двумя проблемами:
val input_data = spark.sql("select * from db.table1")
input_data.coalesce(1).write.mode("overwrite").option("delimiter","\u00A1").csv("/bigdatahdfs/landing/demo.txt")
Файл записан с мусорными символами: (Просмотр файла в HDFS)
Кроме того, могу ли я управлять FileName как записанным в Directory с каким-то случайным именем.
