Как Apache Beam обрабатывает несколько окон - PullRequest
0 голосов
/ 02 мая 2018

Мы используем Beam 2.2 java sdk с Google Dataflow Runner.

Мы получаем пакеты данных за 4 часа в PubSub (у которых нет меток времени), которые нам нужно регулировать и обрабатывать получающиеся окна по одному, поскольку для каждого из них требуется некоторая информация о состоянии. Мы можем назначить временные метки этим данным и создать окна, но это может привести к одновременной подготовке и отправке нескольких окон. Обрабатывает ли Beam эти окна одно за другим, или мы должны явно обеспечить эту обработку?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...