Рассмотрите возможность использования приемника JDBC Confluent Kafka Connect и коннекторов источника, если вы хотите реплицировать изменения данных в гетерогенных базах данных в режиме реального времени.
Исходный соединитель может выбрать всю базу данных, отдельные таблицы или строки, возвращаемые предоставленным запросом, и отправить данные в виде сообщения Kafka вашему брокеру Kafka. Соединитель источника может рассчитывать различия на основе возрастающего столбца идентификатора, столбца метки времени или запускаться в массовом режиме, когда все содержимое периодически повторяется. Приемник может прочитать эти сообщения, при необходимости проверить их по схеме avro или json и заполнить исходную базу данных результатами. Все это бесплатно, и существует несколько коннекторов приемника и источника для многих реляционных и нереляционных баз данных.
* Одно важное предостережение - некоторые коннекторы JDBC Kafka не могут записывать жесткие удаления
Чтобы обойти это ограничение, вы можете использовать пропиетальный разъем, такой как Debezium (http://www.debezium.io),, см. Также
Удалить события из JDBC Kafka Connect Source .