Как явно вызвать контрольную точку в Beam - PullRequest
0 голосов
/ 05 апреля 2019

Можно ли программно вызвать контрольную точку в Beam DoFn? Как мне это сделать?


p.s. Мне нужно сделать это, потому что я отключил автоматическую фиксацию источника KafkaIO, чтобы избежать потери данных (которые считываются из Kafka и еще не обработаны) при перезапуске конвейера, и вместо этого включил функцию контрольной точки kafka-commit-on-pipeline-checkpoint commitOffsetsInFinalize

Контрольная точка KafkaIO - как зафиксировать смещения в Kafka

...