Преобразование из строки в дату (гггг-мм-дд чч: мм: сс) в Pyspark

Question

Столбец в кадре данных выглядит следующим образом: -

Input--> 20191106 ---Output---> 2019-11-06 00:00:00
Input--> 20180815--Output---> 2018-08-15 00:00:00

Код:

from pyspark.sql.functions import from_unixtime, unix_timestamp
df.withColumn("newcol", from_unixtime(unix_timestamp(df("coldt"), "YYYY--MM-DD HH:MM:SS")))

Ошибка:

File "C:/Users/nance.py", line 14, in <module>
    df.withColumn("newcol", from_unixtime(unix_timestamp(df("coldt"), "YYYY--MM-DD HH:MM:SS")))
TypeError: 'DataFrame' object is not callable

Пожалуйста, помогите.

Answer 1

просто используйте функцию to_timestamp .

Рабочий пример:

import pyspark.sql.functions as F
df = spark.createDataFrame([['20191106'],['20180815']])
df = df.withColumn('dates',F.to_timestamp('_1','yyyyMMdd'))
display(df)