Кафка-потоки: изменить структуру сообщения перед отправкой в ​​темы Кафка

Question

У меня есть сценарий, в котором мне нужно изменить структуру сообщения, которое я получаю от соединителя источника JDBC, прежде чем он попадет в kafka.Я новичок в kafka, так как потоки kafka могут помочь мне в достижении этого.

Ввод -

{"id":"123","firstName":"pqr","lastName":"xyz","age":"23","dob":"20-09-1995"} 

Я хочу сохранить это в индексеasticseacrh как

{"id":"123","name":{"firstName":"pqr","lastName":"xyz"},"age":"23","dob":"20-09-1995"} 

Я не настроен на потоки kafka, я подумал использовать его, если возможно использование KSQL, я хочу это знать.

Answer 1

Кажется, вы используете Kafka Connect.В этом случае «Single Message Transform» (SMT) - ваш друг.Это позволяет вам преобразовывать каждое сообщение один за другим до того, как соединитель записывает данные в тему.

Дополнительные сведения см. В этом блоге: https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/