В трансформации сообщения рейса в Кафке Коннект

Question

Для требования мы собираем следующую линию данных.
IBM MQ (Источник) -> Kafka Connect -> Потоковый API (Kafka / Flink / Spark) -> DB (Sink).
Я хотелпроверить, есть ли возможность выполнить преобразование кодировки сообщений (настраиваемое) на уровне Kafka Connect или до того, как сообщение достигнет кластера подключения kafka / kafka.
Этот параметр не должен добавлять значительную задержку к линии конвейера данных.

Answer 1

Да, то, что вы описываете, - это возможность преобразования единого сообщения в Kafka Connect.Различные трансформации поставляются с Apache Kafka , и вы можете написать свою собственную .