Конвертировать DateTime в Date в spark scala

Question

У меня следующий код, пытающийся изменить формат даты "2010-12-01 8:34" на "2010-12-01" (формат даты)

val rowRDD = data.map(attributes => Row(attributes(0), attributes(1), attributes(2), attributes(3).toInt, attributes(4), attributes(5).toDouble, attributes(6), attributes(7)))

val r1DF = spark.createDataFrame(rowRDD, schema)

val ts = unix_timestamp($"invoiceDate","yyyy/MM/dd HH:mm").cast("timestamp")

val r2DF = r1DF.withColumn("ts", ts)

r2DF.show()

, но новый столбец ts показывает значение null в выходных данных.Я не знаю, в чем проблема?Кто-нибудь может помочь?

Answer 1

Попробуйте это:

to_date(unix_timestamp($"invoiceDate","yyyy-MM-dd HH:mm").cast("timestamp"))

OR

from_unixtime(unix_timestamp($"invoiceDate","yyyy-MM-dd HH:mm"),"yyyy-MM-dd")