Apache Beam Wait.on JdbcIO.write с неограниченной проблемой PCollection - PullRequest
0 голосов
/ 19 октября 2019

Я пытаюсь использовать приведенный ниже сценарий с неограниченным источником данных pCollection (PubSub). https://issues.apache.org/jira/browse/BEAM-6732

Я могу написать в DB1. У DB2 есть файл Wait.on DB1 (PCollection .withResults). Но, к сожалению, DB2 не обновляется.

Когда я изменяю источник на ограниченную фиктивную PCollection, это работает. Любой вклад приветствуется.

1 Ответ

0 голосов
/ 23 октября 2019

Как я упоминал в Jira, у вас есть какая-либо Windows, используемая в вашем неограниченном конвейере? Запись в другую базу данных начинается только после того, как соответствующее окно было полностью записано в первую базу данных. В противном случае он будет ждать вечно.

...