Лучший подход для прослушивания сотен Kafka Topi c и сохранения данных в базе данных

Question

Мы создаем систему для переноса данных из Sybase в Oracle с использованием продукта под названием Qlik, он также предоставляет CD C

Итак, вот мой сценарий

• Qlik Tool создаст Kafka Topi c для каждой таблицы и публикует sh все данные из базы данных sybase
• Каждое сообщение в Topi c содержит некоторые метаданные, и одно из них сообщит нам, будут ли его INSERT / UPDATE / DELETE
• С другой стороны, мы должны создать потребительский уровень, чтобы извлекать данные из каждого topi c и обновлять / синхронизировать c соответствующие таблицы в Oracle DB

Я подумал, что было бы лучшим подходом к созданию потребительского уровня. Любая помощь очень ценится

Answer 1

В конце концов, вам нужен потребитель и вывод схемы для хранения полей в таблице.

Kafka Connect JDB C Приемник можно заставить работать и хорошо масштабироваться, но "лучше "является относительным, в зависимости от ожидаемых результатов.