Я пытаюсь использовать скользящее окно, используя:
pyspark.sql.functions.window
Однако я хочу, чтобы окно скользило только в пределах определенного диапазона времени / даты
, чтобы окно начиналось с самой ранней даты, существующей в кадре данных, до тех пор, пока конец окна не совпадал с последней датой, существующей в кадре данных.
Мое текущее использование выглядит так:
functions.window('colname', '7 days', '1 hour')
Но это дает много полей, поскольку размер окна намного больше, чем длительность скольжения.
Пожалуйста, дайте знать, как решить эту проблему.
Заранее спасибо.