У меня есть формат даты в м / дд / гггг ч: мм и мм / дд / гггг ч: мм, и я хочу вывод в гггг-мм-дд чч: мм: сс в sparksql.Но я получаю ноль

Question

У меня есть значения, такие как 05.05.2017 0:00 и 21.12.2016 0:00, и я хочу это в формате гггг-мм-дд чч: мм: сс.
Я использую это для задачи.

 stf1.withColumn('approval',unix_timestamp("approval","MM/dd/yyyy h:mm ")

, где sf1 - это кадр данных, а утверждение - это имя столбца, в который я хочу преобразовать. Но я получаю ответ как ноль.а не ожидаемый.

Answer 1

Для этого вы можете использовать функции sql.

>>> import pyspark.sql.functions as F
>>> df.show()
+-------------+
|            a|
+-------------+
|4/5/2017 0:00|
+-------------+

>>> df.withColumn('b',F.date_format(F.to_date('a','MM/dd/yyyy HH:mm'),'yyyy-MM-dd HH:mm:ss')).show()
+-------------+-------------------+
|            a|                  b|
+-------------+-------------------+
|4/5/2017 0:00|2017-04-05 00:00:00|
+-------------+-------------------+