Добавьте заголовки в apache spark Dataset в JAVA

Question

Следующий вопрос содержит решение для добавления заголовков в dataframe на языке Scala.Я хочу добавить заголовки в наборе данных на языке Java. добавить заголовок и столбец к искре информационного кадра

Я читаю файл, который не содержит заголовков:

Dataset<Row> ds= spark.read().format("csv").option("header", "false").load(filepath);

и ds.show() печатает это:

+----------+----------------+----------+----+----+---------+----+
|       _c0|             _c1|       _c2| _c3| _c4|      _c5| _c6|
+----------+----------------+----------+----+----+---------+----+
|04/13/2019|             US1|04/13/2019|null|null|      abc|null|
|04/13/2019|             US1|04/13/2019|null|null|    qwert|null|
|04/13/2019|             US1|04/13/2019|null|null|     xyzz|null|
+----------+----------------+----------+----+----+---------+----+

Желаемый вывод с моими заголовками:

+----------+----------------+----------+----+----+---------+----+
| orderDate|          symbol|  sellDate| prc|  id|  product| cod|
+----------+----------------+----------+----+----+---------+----+
|04/13/2019|             US1|04/13/2019|null|null|      abc|null|
|04/13/2019|             US1|04/13/2019|null|null|    qwert|null|
|04/13/2019|             US1|04/13/2019|null|null|     xyzz|null|
+----------+----------------+----------+----+----+---------+----+

Может ли кто-нибудь помочь в этом отношении?

Answer 1

Я нашел ответ на свой вопрос.

toDF () можно использовать для добавления заголовков следующим образом:

Dataset<Row> ds= spark.read().format("csv").option("header", "false").load(filepath).toDF("orderDate","symbol","selldate","prc","id","product","cod")

Это также можно использовать для переименования заголовков, если они существуют,как это:

Dataset<Row> ds= spark.read().format("csv").option("header", "true").load(filepath).toDF("orderDate","symbol","selldate","prc","id","product","cod")