Как динамически развертывать инициируемые событиями (или базы данных) конвейеры Apache Beam в Dataflow, используя JavaSDK? - PullRequest
0 голосов
/ 05 февраля 2019

В настоящее время у меня есть работающий конвейер, и я хочу динамически развернуть конвейеры Beam в Dataflow.Например, один конвейер работает в потоке данных, и когда поступает новая запись базы данных (событие / база данных запущена), тот же конвейер будет запускаться автоматически, не затрагивая другой.Одним из решений является использование шаблона Dataflow, однако он не поддерживает KafkaIO.Есть ли какое-то направление, по которому я могу пойти?

...