преобразовать целое число в дату для подсчета количества дней - PullRequest
Новая
       32

преобразовать целое число в дату для подсчета количества дней

0 голосов
/ 24 ноября 2018

Мне нужно преобразовать целое число в формат даты (гггг-мм-дд), чтобы рассчитать количество дней.

  registryDate 
    20130826
    20130829
    20130816
    20130925
    20130930
    20130926

Желаемый выход: 

 registryDate      TodaysDate        DaysInBetween
    20130826        2018-11-24          1916
    20130829        2018-11-24          1913
    20130816        2018-11-24          1926

1 Ответ

0 голосов
/ 24 ноября 2018

Вы можете привести registryDate к типу String, затем применить to_date и datediff, чтобы вычислить разницу в днях, как показано ниже: 

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._
import java.sql.Date

val df = Seq(
  20130826, 20130829, 20130816, 20130825
).toDF("registryDate")

df.
  withColumn("registryDate2", to_date($"registryDate".cast(StringType), "yyyyMMdd")).
  withColumn("todaysDate", lit(Date.valueOf("2018-11-24"))).
  withColumn("DaysInBetween", datediff($"todaysDate", $"registryDate2")).
  show
// +------------+-------------+----------+-------------+
// |registryDate|registryDate2|todaysDate|DaysInBetween|
// +------------+-------------+----------+-------------+
// |    20130826|   2013-08-26|2018-11-24|         1916|
// |    20130829|   2013-08-29|2018-11-24|         1913|
// |    20130816|   2013-08-16|2018-11-24|         1926|
// |    20130825|   2013-08-25|2018-11-24|         1917|
// +------------+-------------+----------+-------------+
...