Pyspark: преобразование столбца из строкового типа в тип отметки времени - PullRequest
Новая
       17

Pyspark: преобразование столбца из строкового типа в тип отметки времени

0 голосов
/ 01 февраля 2019

Я использую pyspark 2.3.У меня есть фрейм данных, содержащий столбец «ВРЕМЯ» в формате String для значений DateTime.где столбец выглядит следующим образом: 

+---------------+
|           TIME|
+---------------+
| 2016/04/14 190|
| 2016/04/15 180|
|2016/04/14 1530|
|2016/04/16 1530|
| 2016/04/17 160|
+---------------+

, где первые две цифры в 190 или 1530 представляют час, а остальные - минуты.Я попытался преобразовать его в тип отметки времени, используя следующие строки: 

df.withColumn('TIME_timestamp',fn.unix_timestamp('TIME','yyyy/MM/dd HHMM').cast(TimestampType()))

, а также: 

df.withColumn('TIME_timestamp', fn.to_timestamp("TIME", 'yyyy/MM/dd HHMM'))

, но в результате получилось: 

+---------------+-------------------+
|           TIME|     TIME_timestamp|
+---------------+-------------------+
| 2016/04/14 190|               null|
| 2016/04/15 180|               null|
|2016/04/14 1530|               null|
|2016/04/16 1530|               null|
| 2016/04/17 160|               null|
+---------------+-------------------+

Итакнужный Dataframe должен выглядеть следующим образом: 

+---------------+
| TIME_timestamp|
+---------------+
| 16-04-15 19:00|
| 16-04-15 18:00|
| 16-04-15 15:30|
| 16-04-15 15:30|
| 16-04-15 16:00|
+---------------+

1 Ответ

0 голосов
/ 01 февраля 2019

Вы используете капитал M для определения месяцев, а также минут;минуты должны быть обозначены как m, см. здесь .Ниже приведен рабочий пример использования to_timestamp, надеюсь, это поможет! 

import pyspark.sql.functions as F

df = sqlContext.createDataFrame(
    [
     ('2016/04/14 190',),
     ('2016/04/15 180',),
     ('2016/04/14 1530',),
     ('2016/04/16 1530',),
     ('2016/04/17 160',)
    ],
    ("TIME",)
)

df.withColumn('TIME_timestamp',F.to_timestamp("TIME", "yyyy/MM/dd HHmm")).show()

Вывод: 

+---------------+-------------------+
|           TIME|     TIME_timestamp|
+---------------+-------------------+
| 2016/04/14 190|2016-04-14 19:00:00|
| 2016/04/15 180|2016-04-15 18:00:00|
|2016/04/14 1530|2016-04-14 15:30:00|
|2016/04/16 1530|2016-04-16 15:30:00|
| 2016/04/17 160|2016-04-17 16:00:00|
+---------------+-------------------+
...