Kafka подключает приемник JDBC - отображение вложенного JSON в несколько строк

Question

Как часть требования, мы продолжаем использовать Kafka connect для передачи данных в нашу базу данных.До сих пор я читал, что между сообщением и строкой БД будет отображаться 1x1, то есть для одного сообщения на Kafka будет соответствующая запись в базе данных.Я хотел знать, есть ли возможность разбить вложенный JSON на несколько строк для вставки в БД?

2 возможности, о которых я могу подумать: - 1) Написать пользовательский соединитель для приемника jdbc2) Используйте группу потребителей вместо kafka connect

Answer 1

Использовать группу потребителей вместо kafka connect

Connect - это группа потребителей.Настоятельно рекомендуется не писать свою собственную логику для обработки сбоев соединений, управления смещениями, выхода на пенсию и т. Д., И пусть Connect сделает это за вас.Если эти «преимущества» не работают для вас, даже тогда я думаю, что было бы лучше, если вы раскошелите код Connector (ваш вариант 2), а не написали простой Consumer

Преобразования Connect для одного сообщения - это примерно то, что выищу.В противном случае вы должны написать приложение потребителя / производителя / Kstreams для чтения и обратной записи в «сплющенную» тему, а затем Connect считывает эту выходную тему в базу данных.

Примечание: JDBC не единственный вариант.Mongodb или Couchbase обрабатывают вложенные JSON просто отлично