Контрольно-пропускной пункт Apache Beam kafka IO - PullRequest
0 голосов
/ 27 ноября 2018

Я создаю сервис, использующий Apache Beam (поток данных), который считывает данные из kafka, выполняет некоторые преобразования потока и записывает их обратно в kafka.

Тема kafka ----> trasformations ----> Кафка вне темы

Здесь я хочу записать смещение в кафку только после того, как я загружу данные в кафку из темы.

У нас есть функция в потоках akka, где мы можем сделать это с помощью m.committableOffset.commitScaladsl ().

есть ли у нас аналогичная вещь в коннекторе apache beam Kafka

Оценитьпомощь.

...