искристое структурированное потоковое окно sql в eventTime - PullRequest
0 голосов
/ 23 мая 2019

Каким будет эквивалентный строковый SQL-запрос для этого же запроса:

val streamingWindowDF = 
  streamingInputDF
    .groupBy(
      $"sessiondId",
      window($"time", "10 seconds","2 seconds"))

Я хотел бы сделать то же самое, но со строкой SQL что-то вроде:

val result = spark.sql(".....")

ЧтоЯ хочу сделать это раздвижное окно.

Спасибо.

1 Ответ

1 голос
/ 23 мая 2019

window является допустимой функцией SQL и может использоваться как таковой, то есть

SELECT COUNT(*)
FROM df
GROUP BY  window(time, '10 seconds', '2 seconds')

или просто SELECT

SELECT *, window(time, '10 seconds', '2 seconds') AS w
FROM df
...