Концепции скользящего окна - понимание концепции - PullRequest
Новая
       16

Концепции скользящего окна - понимание концепции

0 голосов
/ 10 июня 2019

Можем ли мы объявить, что значение окна меньше скользящего значения? Это действительно один? Пожалуйста, подтвердите. 

val windowStream1 = inputStream.window(Seconds(4))
val windowStream2 = inputStream.window(Seconds(4), Seconds(2))
val windowStream3 = inputStream.window(Seconds(10), Seconds(4))
val windowStream4 = inputStream.window(Seconds(10), Seconds(10)
val windowStream5 = inputStream.window(Seconds(2), Seconds(2))    // same as inputStream
val windowStream6 = inputStream.window(Seconds(11), Seconds(2))   // invalid
val windowStream7 = inputStream.window(Seconds(4), Seconds(1))    // invalid
val windowStream8 = inputStream.window(Seconds(10), Seconds(20)) - ? Question

Оба, windowStream1 и windowStream2 будут генерировать RDD, содержащие данные за последние 4 секунды. И СДР будут генерироваться каждые 2 секунды (если длительность слайда не указана, как в windowStream1, то длительность слайда принималась равной длительности пакета inputStream = 2 секунды). Обратите внимание, что каждое из этих окон данных перекрывается. Окно RDD в момент времени 10 будет содержать данные от 6 до 10 (то есть немного после 6 до 10), а окно RDD во время 12 будет содержать данные от 8 до 12.

Аналогично, windowStream3 будет генерировать RDD каждые 4 секунды, каждая из которых содержит данные за последние 10 секунд. И windowStream4 будет генерировать неперекрывающиеся окна, то есть RDD каждые 10 секунд, содержащие данные за последние 10 секунд. windowStream5 по сути такой же, как inputStream.

windowStream6 и windowStream7 недопустимы, потому что один из двух параметров не кратен интервалу пакета, то есть 2 секундам. Вот как три связаны. Теперь вопрос здесь windowStream8, мы можем объявить значение окна меньше скользящего значения? Это действительно один? Пожалуйста, подтвердите.

...