Могу ли я игнорировать потоковые данные, когда моя структура заполнена до конца интервала пакета? - PullRequest
Новая
       17

Могу ли я игнорировать потоковые данные, когда моя структура заполнена до конца интервала пакета?

0 голосов
/ 11 сентября 2018

У меня есть array[array], который я заполняю данными, поступающими с stream.Мой batch interval составляет 1 с.Я использую foldleft для ее заполнения, поэтому все данные суммируются в array за каждые 1 с.Как я могу игнорировать остальные данные, поступающие для остальной части b atch interval, когда мой array заполнен? 

My code is:
   var arr = inputRdd.transform(x => x.groupBy(_ (1)).mapValues(x => x
                      .foldLeft(Array.ofDim[Double](C, T)) { (a, b) => {
                       var c = a
                       c(b(2).toInt)(findNextEmpty(a,b(2).toInt, T)) += b(3).toDouble
                       c  }}))
...