Spark Streaming с окном из N элементов - PullRequest
2 голосов
/ 27 марта 2019

В Spark Streaming, используя Scala или Java, как получить поток, который всегда содержит самые последние N элементы?

Я знаком с возможностью создания оконных потоков, используя такие методы, как window(windowLength, slideInterval). Здесь и windowLength, и slideInterval являются временными интервалами. Есть ли эквивалент, в котором вы указываете количество строк (то есть элементов) для длины и интервала потока?

Если для таких случаев не предусмотрено API, как бы вы реализовали его самостоятельно?

...