Соединитель раковины Kafka Connect JDBC

Question

Я пытаюсь записать данные из темы (данные json) в базу данных MySql.Я полагаю, что мне нужен JDBC Sink Connector.

Как настроить соединитель для сопоставления данных json в теме с тем, как вставить данные в базу данных.

Единственная документация, которую я могу найтиэто так.

"Для коннектора приемника требуется знание схем, поэтому следует использовать подходящий конвертер, например конвертер Avro, который поставляется с реестром схем, или конвертер JSON с включенными схемами. Ключи записи Kafka, еслиpresent может быть примитивным типом или структурой Connect, а значение записи должно быть структурой Connect. Поля, выбираемые из структур Connect, должны быть примитивных типов. Если данные в теме не имеют совместимого формата, реализация пользовательского преобразователя можетбыть необходимым. "

Но как вы настраиваете?Есть примеры?

Answer 1

Я полагаю, это означает, что вам нужно использовать реестр Confluent Schema?

Для "лучшей" поддержки схемы, тогда да. Но нет, это не обязательно.

Вы можете использовать JsonConverter с schemas.enable=true

Ваши сообщения JSON должны выглядеть примерно так:

{
   "schema" : {
      ... data that describes the payload
   }, 
   "payload": {
      ... your actual data
   }
}

Для ссылки на этот формат вы можете увидеть этот блог

Вы можете использовать Kafka Streams или KSQL для более простого преобразования JSON без схемы в полезную нагрузку Avro схемы