Spark udf для чтения нестандартных форматов дат - PullRequest
Новая
       21

Spark udf для чтения нестандартных форматов дат

0 голосов
/ 25 марта 2019

Допустим, у меня есть нестандартные даты в моем фрейме данных: 

val df = Seq("24-12-2017","25-01-2016").toDF("dates")
df.show()
+----------+
|     dates|
+----------+
|24-12-2017|
|25-01-2016|

Тогда я хочу проанализировать эти даты по меткам времени, и это не работает: 

import java.text.SimpleDateFormat
def fmt(d:String) = {
    val f = new SimpleDateFormat("dd-MM-yyyy")
    f.parse(d)
}
val reFormat = udf(fmt(_:String):Timestamp)
cmd15.sc:1: not found: type Timestamp
val reFormat = udf{fmt(_:String):Timestamp}

Чего мне не хватает? Любая помощь приветствуется !!!

1 Ответ

3 голосов
/ 25 марта 2019

Ошибка, которую вы получаете, просто связана с тем, что java.sql.Timestamp не импортируется. Тем не менее, его импорт может привести к другой проблеме: 

error: type mismatch;
found   : java.util.Date
required: java.sql.Timestamp

Чтобы это исправить, вам просто нужно создать java.sql.Timestamp в вашем UDF: 

def fmt(d:String) = {
    val ts = new SimpleDateFormat("dd-MM-yyyy").parse(d).getTime
    new java.sql.Timestamp(ts)
}
val reFormat = udf(fmt(_:String):java.sql.Timestamp)

df.select('dates, reFormat('dates)).show
+----------+-------------------+
|     dates|         UDF(dates)|
+----------+-------------------+
|24-12-2017|2017-12-24 00:00:00|
|25-01-2016|2016-01-25 00:00:00|
+----------+-------------------+

Это исправляет ваш UDF, но учтите, что в SparkSQL API есть функция, которая делает именно то, что вы хотите: 

df.select('dates, to_timestamp('dates, "dd-MM-yyyy")).show
+----------+-----------------------------------+
|     dates|to_timestamp(`dates`, 'dd-MM-yyyy')|
+----------+-----------------------------------+
|24-12-2017|                2017-12-24 00:00:00|
|25-01-2016|                2016-01-25 00:00:00|
+----------+-----------------------------------+
...