Как преобразовать список Java <Date>в набор данных Spark <Row>

Question

У меня есть список дат, которые я хочу преобразовать в набор искровых данных, чтобы использовать их в преобразованиях.

List<Date> dates = new ArrayList<>();
dates.add(date1);

Я ожидаю что-то вроде этого:

Dataset<Row> ds = sparkSession.createDataset(dates);

Answer 1

Если у вас уже есть список дат , вы можете создать список строк как

List<Row> data = new ArrayList<>();
for(Date date : dates) {
    data.add(RowFactory.create(date));
}

и затем schema как

StructType schema = new StructType(new StructField[] { 
                new StructField("date", DataTypes.DateType, false, Metadata.empty())
        });

и, наконец, используйте Список строк и schema, чтобы создать набор данных как

    Dataset<Row> ds = sparkSession.createDataFrame(data, schema);

, который должен дать вам действительный набор данных

Надеюсь, ответ полезен