Проблемы с преобразованием даты в метку времени, Spark дата в метку времени из unix_timestamp возвращает ноль

Question

Проблемы с преобразованием даты в метку времени, Spark дата в метку времени из unix_timestamp возвращает ноль.

scala>  import org.apache.spark.sql.functions.unix_timestamp
scala> spark.sql("select from_unixtime(unix_timestamp(('2017-08-13 00:06:05'),'yyyy-MM-dd HH:mm:ss')) AS date").show(false)

+----+
|date|
+----+
|null|
+----+

Answer 1

Проблема была в изменении времени в Чили, большое спасибо.

+-------------------+---------+
|     DateIntermedia|TimeStamp|
+-------------------+---------+
|13-08-2017 00:01:07|     null|
|13-08-2017 00:10:33|     null|
|14-08-2016 00:28:42|     null|
|13-08-2017 00:04:43|     null|
|13-08-2017 00:33:51|     null|
|14-08-2016 00:28:08|     null|
|14-08-2016 00:15:34|     null|
|14-08-2016 00:21:04|     null|
|13-08-2017 00:34:13|     null|
+-------------------+---------+

Решение, установить timeZone:

  spark.conf.set("spark.sql.session.timeZone", "UTC-6")