Как клонировать поле в Kafka Connect?

Question

Я настраиваю Kafka Connect для копирования данных из Kafka в базу данных

Мне нужно поместить значение из некоторого поля в два столбца в базе данных.

В моем сообщении Kafka есть два поля name, age.Целевая таблица имеет 3 столбца name, displayName и age.Я хотел бы клонировать значение name из сообщения Kafka, чтобы поместить его в оба столбца name и displayName.

Существует ли какое-либо преобразование, которое может быть применено для этого?

Answer 1

Как говорит Дрисс Неджар, для такого преобразования, как правило, идеально подходит единое сообщение. Тем не менее, нет Transform, который поставляется с Apache Kafka, который, как я вижу, сделал бы это. Вы можете написать свой , или вы также можете использовать KSQL:

CREATE STREAM new AS SELECT name, name as displayName, age FROM source;

Это займет вашу тему source (заполненную Connect), добавит дополнительное поле displayName и напишет в новую тему Kafka под названием new.

Отказ от ответственности: я работаю в Confluent, компании, стоящей за проектом KSQL.