Apache Beam: воссоздание окон из данных - PullRequest
0 голосов
/ 19 июня 2019

У меня есть конвейер A , который создает окна сеанса. Окна сеанса публикуются в PubSub < key, { window_start, window_end, count, key } >

Во втором конвейере B я хотел бы создать минутные окна из другого набора данных и объединить их с окнами сеансов из A .

Решение здесь простое, если окна сеанса и окна минут происходили в одном и том же конвейере. Поскольку coGroupByKey знает, как присоединиться к оконным PCollections.

Как я могу воссоздать сформированные окна из конвейера A в конвейере B для дальнейшей обработки на нем?

Можно ли отобразить записи из темы PubSub в B , создать окно для каждой записи и продолжить в обычном режиме?

...