Ниже приведено несколько вопросов о Apache Beam Windowing:
- У меня есть конвейер лучей, считывающий данные из Pub / Sub и обрабатывающий события через набор ParDo, во время обработки мы выполняем groupByKey, а затем делаемпара ParDo и снова GroupByKey / Combine.Мы установили окно размером 5 минут с триггерами ниже.AfterProcessingTime.pastFirstElementInPane () .plusDelayOf (Duration.standardMinutes (5L)
Я вижу приведенную выше стратегию, применяемую к каждому комбинату / groupBY в нашем конвейере, но мой конвейер застрял на втором groupByKey.
Если я применяю управление окнами над каждым из Combine / GroupByKey, то в моем конвейере новые остановки и события передаются вниз по течению. Это ожидаемое поведение в триггерах, основанных на времени обработки? Если нет, то чего мы упускаем ??
Если мы установим вдовство один раз в начале моего конвейера, используя следующую стратегию Repeatedly.forever (AfterProcessingTime.pastFirstElementInPane (). PlusDelayOf (2 минуты)). OrFinally (AfterWatermark.pastEndOfWindow ())
Будет ли это запускать триггеры непрерывно на всех моих комбайнах / GroubBy, где каждый groupBy запускает окно после того, как комбайн на шаге выше него выпустил событие?Мы считаем, что только или, наконец, срабатывает во всех наших комбайнах.