Поддержка окон (фиксированных, скользящих и т. Д.) И водяных знаков в Spark SQL DSL

Question

Поддерживает ли Spark SQL (DSL, а не API) оконную функцию в структурированной потоковой передаче?Нечто похожее в Flink выглядит следующим образом:

SELECT user, SUM(amount) FROM Orders GROUP BY TUMBLE(proctime,
INTERVAL '1' DAY), user

Единственный пример SQL, который я нашел на официальном сайте структурированной потоковой передачи, был ниже, и он не включал пример возможности окон:

df.createOrReplaceTempView("updates")

spark.sql("select count(*) from updates")  // returns another streaming DF

Answer 1

Spark еще не имеет функций управления окнами через DSL для структурированной потоковой передачи как 2.4. версия. У Apache Flink есть те, которые он использует Apache Calcite Анализатор SQL и потому что Flink использует SQL для потоковой передачи.

Однако эта функция может быть добавлена ​​в будущих версиях.

Bests