Я хочу взять данные 1000-й мс в окне за 1 секунду, нужна помощь по оконной функции. По сути, мне нужно объединить данные на второй уровень, то есть взять 1000-миллисекундные данные в окне длительностью 1 секунда (используя функцию Window / Rank / Partition)
Ниже приведен код, который я пытаюсь ..
val result3DF = spark.sql("select a.* from (select p.*, ROW_NUMBER() OVER (PARTITION BY xxx_ts order by stime DESC) as RN from global_temp.CAN_Table p)a where RN=1")
where xxx_ts is of type yyyy-MM-dd HH:mm:ss and stime is in epoch(ex:1526630451865) which is in milliseconds level.