Преобразовать столбец unix_timestamp в строку, используя pyspark

Question

У меня есть столбец, представляющий unix_timestamp, и я хочу преобразовать его в строку с таким форматом: ' гггг-мм-дд ЧЧ: мм: сс.ССС '.

unix_timestamp | time_string

1578569683753  | 2020-01-09 11:34:43.753
1578569581793  | 2020-01-09 11:33:01.793
1578569581993  | 2020-01-09 11:33:01.993

Есть ли встроенная функция или как она работает? Спасибо.

Answer 1

df1 = df1.withColumn('utc_stamp', F.from_unixtime('Timestamp', format="YYYY-MM-dd HH:mm:ss"))

df1.show(truncate=False)

from_unixtime преобразуется только в секунды, за миллисекунды мне просто нужно объединить их из исходного столбца в новый столбец.