Я хотел бы найти разницу между столбцом Date в наборе данных spark и значением даты, которое не является столбцом.
Если бы оба были столбцом, я бы сделал
DateDiff (колонка ( "dateStart"), Col ( "dateEnd")
Как я хочу найти разницу между col ("dateStart") и другой датой, которая не является столбцом
val dsWithTimeDiff = detailsRecordsDs.withColumn (RunDate,
Лит (runDate.toString))
val dsWithTimeDiff = dsWithRunDate.withColumn(DateDiff,
datediff(to_date(col(RunDate)), col(DateCol)))
Есть ли лучший способ сделать это вместо добавления еще одного столбца, а затем найти разницу