Я строю конвейер для импорта табличных данных из одной базы данных в другую, используя apache -kafka и apache -kafka-connect . Я не могу использовать log-based CDC (и такие замечательные вещи, как дебезиум ), поэтому я должен использовать query-based CDC и JDBC Source Connector.
JDBC Sink Connector используется для импорта из Kafka в целевую базу данных. Этот соединитель поддерживает удаление :
Запись со значением null считается событием tombstone и приводит к удалению соответствующей строки в таблица назначения.
Так что, если бы я использовал Debezium, я мог бы использовать опцию tombstones.on.delete для излучения надгробий, однако в случае подхода CD C на основе запроса Мне нужно использовать специальный столбец для пометки удаленных строк.
Есть ли какое-либо решение для преобразования сообщений (представляющих "мягкие удаления") в события-захоронения (или, другими словами, для установки значения таких сообщений в значение NULL)? Может быть, я мог бы использовать какое-то условное Kafka Connect SMT или что-то еще?
В целом, стоит ли превратить "мягкие" удаления в настоящие?
Заранее спасибо!
Похожие вопросы: