Как создать набор данных String из набора данных списка String Spark Java

Question

У меня есть набор данных из списка строк, мне нужно создать новый набор данных из вышеупомянутого, в котором каждая запись списка будет представлена ​​в виде одной строки в новом наборе данных.

List<String> list = new ArrayList("abc", "def", "ghi");

Dataset<String> input = spark.createDataset(list,Encoders.bean(String.class));

Новый набор данных должен быть похожим на:

"abc
def
ghi"

Заранее спасибо

Answer 1

Вы можете использовать flatmap для преобразования списка строк в отдельные строки. // flatMap каждую строку в слова в строке

JavaRDD<String> words = input.toJavaRDD().flatMap(s -> Arrays.asList(s.split(",")).iterator());