Преобразование даты из строки в дату в sparksql - PullRequest
0 голосов
/ 07 сентября 2018

У меня есть дата-кадр sparksql с датами в следующем формате: «26MAR2015». В следующем вопросе они используют функцию to_date с java simpledataformat: Преобразование даты из формата String в формат даты в кадрах данных для преобразования строк в дату. Я не смог найти больше информации об этом формате в следующем вопросе: Преобразовать строку pyspark в формат даты .

Я не нахожу правильный формат для моего случая:

spark.sql("""
SELECT TO_DATE(CAST(UNIX_TIMESTAMP('15MAR2015', '??????') AS TIMESTAMP)) AS newdate"""
).show()

1 Ответ

0 голосов
/ 07 сентября 2018

Вы должны использовать ddMMMyyyy в качестве строки формата.

Например, вы можете сделать:

spark.sql("""
SELECT CAST(FROM_UNIXTIME(UNIX_TIMESTAMP('15MAR2015', 'ddMMMyyyy')) AS date) AS newdate"""
).show()
#+----------+
#|   newdate|
#+----------+
#|2015-03-15|
#+----------+

Вы можете найти больше информации о Java SimpleDateFormat здесь .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...