Присоединяйтесь к «дополнительной» PCollection в Apache Beam - PullRequest
0 голосов
/ 01 октября 2018

Я пытаюсь CoGroupByKey два неограниченных PCollections в Windows, конечно.Давайте назовем их основными и необязательными.Мне нужно, чтобы присоединенная PCollection выполнялась всякий раз, когда запускается основная PCollection.Однако дополнительная PCollection может быть пустой или быть очень "разреженной" - например, один элемент в день.Проблема, которую я наблюдаю, состоит в том, что водяной знак дополнительной PCollection не перемещается, поэтому присоединенная PCollection также застревает.То же самое происходит, когда я пытаюсь сгладить эти PCollections вместе.

Все должно происходить с использованием меток времени события.

...