Flink: запись кортежей с CSV-заголовком в файл - PullRequest
Новая
       11

Flink: запись кортежей с CSV-заголовком в файл

0 голосов
/ 05 февраля 2019

Я провел некоторую обработку данных с помощью Flink (1.7.1 с Hadoop).В конце я хотел бы записать набор данных, состоящий из 2-х кортежей, в файл.В настоящее время я делаю это так: 

<Tuple2<Integer, Point>> pointsClustered = points.getClusteredPoints(...);
pointsClustered.writeAsCsv(params.get("output"), "\n", ",");

Однако я бы хотел, чтобы заголовки CSV были записаны в первой строке. API Javadoc *1005* от Flink не содержит никаких опций для этого.Кроме того, я не смог найти никакого решения, которое можно найти в Google.

Не могли бы вы посоветовать, как этого добиться.Большое спасибо!

1 Ответ

0 голосов
/ 05 февраля 2019

Flink's CsvOutputFormat не поддерживает эту функцию.Что вы могли бы сделать, это расширить CsvOutputFormat и переопределить метод open, который записывает заголовок при открытии формата.Тогда вы будете использовать DataSet#output, чтобы указать вновь созданный формат вывода:

...