Как преобразовать строку в дату в AWS клей

Question

У меня есть файл csv в AWS S3, когда я выполняю сканер, поле с датами, такими как "01.01.2016 04.21", принимается как строка в AWS клею. Как я могу изменить его на тип даты? Я попытался с помощью кнопки «изменить схему» в AWS Клей, но в итоге оказалось пустое поле. Заранее спасибо.

Answer 1

конвертирует динамический c кадр в фрейм данных spark и использует spark для всего. проще

df= dyf.toDF()

from pyspark.sql.functions import from_unixtime, unix_timestamp, col
df= df.withColumn(col(columnname),from_unixtime(unix_timestamp(col(columnname),"dd/MM/yyyy hh.mm")))