У меня есть это требование для сравнения метки времени текущей строки с предыдущей строкой кадра данных.Это можно сделать с помощью чего-то вроде:
WindowSpec w = Window.partitionBy(columnSeq).orderBy("timestamp");
//lag function
sortedData.withColumn("difference", functions.lag("timestamp", 1).over(w), 0);
Только если разница больше 60 секунд, значение для столбца new_entry будет истинным.
Есть ли способ сделать сфункция задержки?