У меня есть фрейм данных, который выглядит следующим образом: df:
date time SAD SAF RY
0 2008-04-01 00:00:00 0.0 0.0 NaN
1 2008-04-01 00:30:00 0.0 0.0 NaN
2 2008-04-01 01:00:00 0.0 0.0 NaN
3 2008-04-01 01:30:00 0.0 0.0 NaN
4 2008-04-01 02:00:00 0.0 0.0 NaN
5 2008-04-01 02:30:00 0.0 0.0 NaN
6 2008-04-01 03:00:00 0.0 0.0 NaN
Тип данных всех столбцов - строка. Когда я преобразую фрейм данных в искровой фрейм с помощью следующей команды:
spark_df = spark.createDataFrame(df)
Столбец времени потерял свой формат, и теперь он выглядит следующим образом:
date time SAD SAF RY
0 2008-04-01 0 0.0 0.0 nan
1 2008-04-01 1800000000000 0.0 0.0 nan
2 2008-04-01 3600000000000 0.0 0.0 nan
3 2008-04-01 5400000000000 0.0 0.0 nan
4 2008-04-01 7200000000000 0.0 0.0 nan
5 2008-04-01 9000000000000 0.0 0.0 nan
6 2008-04-01 10800000000000 0.0 0.0 nan
Я не уверен, правильно ли я конвертирую или нет. Я хочу привести столбец времени приведения в тот же формат, который показан в кадре данных pandas. Может ли кто-нибудь помочь мне решить проблему?