Вы должны использовать ddMMMyyyy
в качестве строки формата.
Например, вы можете сделать:
spark.sql("""
SELECT CAST(FROM_UNIXTIME(UNIX_TIMESTAMP('15MAR2015', 'ddMMMyyyy')) AS date) AS newdate"""
).show()
#+----------+
#| newdate|
#+----------+
#|2015-03-15|
#+----------+
Вы можете найти больше информации о Java SimpleDateFormat
здесь .