Разница во времени между двумя столбцами в фрейме pyspark - PullRequest
Новая
       32

Разница во времени между двумя столбцами в фрейме pyspark

0 голосов
/ 12 марта 2019

Я хочу рассчитать разницу во времени в часах между двумя столбцами в pyspark.Ниже приведен пример кадра данных.Столбцы имеют строковый тип (ггггммддччммсс). 

time1           time2
20191020051010  20191019051010

Требуется вывод ниже.Здесь 24 представляет разницу между временем1 и временем2 в часах. 

time1                time2         diff
20191020051010  20191019051010     24

1 Ответ

1 голос
/ 12 марта 2019

Можете ли вы попробовать 

import pyspark.sql.functions as F

df.withColumn(
    'diff',
    (F.unix_timestamp(F.to_timestamp(F.col('time1')))) - 
    (F.unix_timestamp(F.to_timestamp(F.col('time2'))))/F.lit(3600)
)
...