Создать пустой фрейм данных Java Spark - PullRequest
Новая
       13

Создать пустой фрейм данных Java Spark

0 голосов
/ 14 июля 2020

Существует множество примеров того, как создать пустой фрейм данных / набор данных с помощью Spark Scala / Python. Но я хотел бы знать, как создать пустой фрейм данных / набор данных в Java Spark.

Мне нужно создать пустой фрейм данных только с одним столбцом с заголовком как Column_1 и ввести String.

1 Ответ

2 голосов
/ 14 июля 2020

Альтернатива-1 Создайте empty dataframe с user defined schema

// alternative - 1
        StructType s = new StructType()
                .add(new StructField("Column_1", DataTypes.StringType, true, Metadata.empty()));
        Dataset<Row> csv = spark.read().schema(s).csv(spark.emptyDataset(Encoders.STRING()));
        csv.show(false);
        csv.printSchema();
        /**
         * +--------+
         * |Column_1|
         * +--------+
         * +--------+
         *
         * root
         *  |-- Column_1: string (nullable = true)
         */

Альтернативу-2 создайте фрейм данных со значением null и user defined schema

 Dataset<Row> df4 = spark.sql("select cast(null  as string) Column_1");
        df4.show(false);
        df4.printSchema();
        /**
         * +--------+
         * |Column_1|
         * +--------+
         * |null    |
         * +--------+
         *
         * root
         *  |-- Column_1: string (nullable = true)
         */

Альтернативой-3 

 ClassTag<Row> rowTag = scala.reflect.ClassTag$.MODULE$.apply(Row.class);
        Dataset<Row> df5 = spark.createDataFrame(spark.sparkContext().emptyRDD(rowTag),
                new StructType()
                        .add(new StructField("Column_1", DataTypes.StringType, true, Metadata.empty())));
        df5.show(false);
        df5.printSchema();
        /**
         * +--------+
         * |Column_1|
         * +--------+
         * +--------+
         *
         * root
         *  |-- Column_1: string (nullable = true)
         */

spark.emptyDataframe для создания фрейма данных без столбца и значения 

 Dataset<Row> rowDataset = spark.emptyDataFrame();
        rowDataset.show(false);
        rowDataset.printSchema();
        /**
         * ++
         * ||
         * ++
         * ++
         *
         * root
         */
...