как назначить имена столбцов, доступных в CSV-файле, в качестве заголовка или c файла

Question

У меня есть имена столбцов в одном файле .csv, и я хочу назначить их в качестве заголовков столбцов для фрейма данных в scala. Так как это скрипт * generic c, я не хочу жестко кодировать скрипт, а просто передавать значения из файла csv.

Answer 1

Вы можете сделать это:

val columns = spark.read.option("header","true").csv("path_to_csv").schema.fieldNames
val df: DataFrame = ???
df.toDF(columns:_*).write.format("orc").save("your_orc_dir")

в pyspark:

columns = spark.read.option("header","true").csv("path_to_csv").columns
df.toDF(columns).write.format("orc").save("your_orc_dir")

, но хранить схему данных отдельно от данных - плохая идея