Confluent - разделение сообщений Avro из одной темы kafka на несколько тем kafka - PullRequest
Новая
       37

Confluent - разделение сообщений Avro из одной темы kafka на несколько тем kafka

1 голос
/ 22 мая 2019

У нас есть входящая тема кафки с несколькими сообщениями на основе схемы Avro, сериализованными в нее.

Нам нужно разделить сообщения в формате Avro на несколько других тем кафки на основе определенного значенияобщий атрибут схемы. 

                             |------> [OUTGOING TOPIC(AVRO) - A] 
[INCOMING TOPIC(AVRO)] ----->|------> [OUTGOING TOPIC(AVRO) - B]
                             |------> [OUTGOING TOPIC(AVRO) - C]

Хотелось бы понять, как этого добиться, избегая создания промежуточного клиента для выполнения этого разбиения / маршрутизации на конфлюентной платформе.

Я исследовал коннектор kafka, ноне нашел существующий разъем, который делает эту работу.

1 Ответ

1 голос
/ 03 июня 2019

Вы можете написать приложение Kafka Streams и использовать branch(): 

KStream input = builder.stream("topic");
KStream[] splitStreams = input.branch(...);
splitStream[0].to("output-topic-1");
splitStream[1].to("output-topic-2");
// etc.
...