Spark-Java: Как преобразовать строковый столбец набора данных в формате «гггг-мм-ддтчч: мм: сс.SSS + 0000» в метку времени с форматом? - PullRequest
Новая
       36

Spark-Java: Как преобразовать строковый столбец набора данных в формате «гггг-мм-ддтчч: мм: сс.SSS + 0000» в метку времени с форматом?

0 голосов
/ 14 февраля 2019

У меня есть набор данных с одним столбцом lastModified типа строка с форматом " гггг-мм-ддтчч: мм: сс.SSS + 0000 " (пример данных: 2018-08-17T19:58:46.000+0000).

Мне нужно добавить новый столбец lastModif_mapped типа Timestamp путем преобразования значения lastModified в формат " гггг-мм-дд чч: мм: сс.SSS ".

Я попробовал код ниже, но новый столбец получает значение null: 

Dataset<Row> filtered = null;
filtered = ds1.select(ds1.col("id"),ds1.col("lastmodified"))
                .withColumn("lastModif_mapped", functions.unix_timestamp(ds1.col("lastmodified"), "yyyy-MM-dd HH:mm:ss.SSS").cast("timestamp")).alias("lastModif_mapped");

Куда я иду не так?

...