Длина окна в потоковой передаче Spark

Question

С помощью Spark DStreams я могу указать длину скользящего окна следующим образом:

val windowedStream = stream.window(Seconds(20))

Как это сделать с помощью структурированной потоковой передачи?

Answer 1

Посмотрите на оконную операцию в документации по времени события: https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#window-operations-on-event-time

Пример:

val windowedCounts = words.groupBy(window($"timestamp", "10 minutes", "5 minutes"),$"word").count()