как преобразовать столбец с датами (строку) в дату только в pyspark

Question

у меня есть фрейм данных со столбцом created_at, который содержит даты, которые выглядят следующим образом:

Mon Jan 27 17:16:46 +0000 2020

, и я хочу преобразовать даты этого столбца в:

2020-01-27

как могу я сделать это в pyspark?

Answer 1

См. Формат Jave SimpleDate для получения более подробной информации о символах даты и времени.

df.show(truncate=False) #sample dataframe

#+------------------------------+
#|created_at                    |
#+------------------------------+
#|Mon Jan 27 17:16:46 +0000 2020|
#+------------------------------+

from pyspark.sql import functions as F

df.withColumn("created_at", F.to_date("created_at","EEE MMM dd HH:mm:ss +SSSS yyyy")).show()

#+----------+
#|created_at|
#+----------+
#|2020-01-27|
#+----------+