Используйте лаг в spark sql в регистре

Question

У меня есть таблица, как показано ниже

Я хочу добавить столбец seq_group справа на основе значения stay в каждой группе Item.

Для каждой группы элементов seq_group начинается с 0, а когда seq_group > 8600 устанавливается как предыдущая строка seq_group + 1, предложение else будет означать, что установлена ​​предыдущая строка seq_group.

Я реализовал это в spark sql, как показано ниже.

select 
Item,
Stay,
case when Stay > 8600
then lag(seq_group,1) over (partition by Item order by ts) + 1
else lag(seq_group,1) over (partition by Item order by ts)
end as seq_group
from tableA

и в настоящее время получает результат, как показано ниже

Любые указатели, которые могут это исправить, очень помогли бы

Answer 1

Это может быть достигнуто с помощью промежуточной суммы.

select Item,
       Stay,
       sum(case when Stay > 8600 then 1 else 0 end) over(partition by item order by ts) as seq_group
from tableA