преобразование определенного формата строки в дату в sparksql

Question

У меня есть столбец, который содержит строку со следующей датой в виде строки Sat Sep 14 09:54:30 UTC 2019.Совсем не знаком с форматом.

Мне нужно конвертировать в дату или метку времени.Просто единица, с которой я могу сравнить.Мне просто нужно сравнение с точностью до одного дня.

Answer 1

Это может помочь вам получить временную метку из вашей строки, а затем вы получите дни из нее, используя Spark SQL (2.x)

spark.sql("""SELECT from_utc_timestamp(from_unixtime(unix_timestamp("Sat Sep 14 09:54:30 UTC 2019","EEE MMM dd HH:mm:ss zzz yyyy") ),"IST")as timestamp""").show()

+-------------------+
|          timestamp|
+-------------------+
|2019-09-14 20:54:30|
+-------------------+