Взрывать объекты JavaPairRDD

Question

У меня есть JavaPairRDD<Dimension, Metrics>, здесь Dimension и Metrics объекты имеют несколько членов.Есть ли способ преобразовать это в Dataset<Row> со всеми столбцами / членами обоих объектов.Или есть также способ вывести этот JavaPairRDD в файл со столбцами / членами обоих объектов, разделенных табуляцией или запятой.

Answer 1

Вы можете использовать преобразование map () для преобразования JavaPairRDD в JavaRDD, представляющий все члены Dimension и Metrics в виде строки, разделенной запятыми.

После этого вы можете сохранить его как текстовый файл .

Логические шаги для этого:

• Переопределить toString () в классах Dimension и Metrics.Вы можете вернуть список значений через запятую в виде строки.

В вашем искровом приложении -

Function<Tuple2<Dimension, Metrics>, String> f = tuple -> (tuple._1.toString() +"," + tuple._2.toString());
JavaRDD csvRdd = pairRDD.map(f);
csvRdd.saveAsTextFile("your file path")

• Амит