Раздел Kafka для базы данных Oracle с использованием API-интерфейса Kafka Connect JDBC Sink Connector

Question

Я знаю, чтобы написать потребителя Kafka и вставить / обновить каждую запись в базе данных Oracle, но я хочу использовать для этой цели Kafka Connect API и JDBC Sink Connector. За исключением файла свойств, в моем поиске я не смог найти полный исполняемый пример с подробными шагами по настройке и написанию соответствующего кода на Java для использования темы Kafka с сообщением json и вставки / обновления (слияния) таблицы в базе данных Oracle с использованием Kafka подключите API с помощью коннектора JDBC Sink Connector. Может кто-нибудь указать пример, включающий конфигурацию и зависимости? Есть ли недостатки этого подхода? Предвидим ли мы какие-либо потенциальные проблемы, когда табличные данные увеличиваются до миллионов?

Заранее спасибо.

Answer 1

Не будет примера для вашего конкретного варианта использования , потому что разъем JDBC должен быть универсальным.

Вот один пример конфигурации с базой данных Oracle

Все, что вам нужно, это

1. Тема какого-то формата
2. key.converter и value.converter для десериализации этой темы
3. Ваша строка JDBC и схема базы данных (таблицы, поля проекции и т. Д.)
4. Любые другие Специальные параметры JDBC Sink

Все это идет в свойствах Java / файле JSON, не в исходном коде Java

Если у вас возникла конкретная проблема с созданием этой конфигурации, пожалуйста, прокомментируйте.

Ожидаем ли мы каких-либо потенциальных проблем, когда данные таблиц увеличиваются до миллионов?

Ну, эти проблемы будут связаны с сервером базы данных, а не с Kafka Connect. Например, заполнение диска или увеличение нагрузки при приеме непрерывных записей.

Есть ли недостатки у этого подхода?

Вам придется обрабатывать дедупликацию или запись об истечении срока действия (например, GDPR) отдельно, если вы этого хотите.