Kafka Connect - обработка событий удаления таблицы - PullRequest
0 голосов
/ 09 июня 2019

мы сейчас находимся в процессе синхронизации данных из базы данных Oracle в новый экземпляр PostreSQL.

Для вставок / обновлений это работает нормально, но удаление проблематично:

Когда что-то, например, клиент, удаляется, клиент удаляется из таблицы customer и перемещается в таблицу customer_deleted.

Итак, я подумал: я могу слушать обе таблицы, чтобы получить вставки, обновления и удаления.

Тогда я бы написал приложение для потоков Kafka, которое объединит эти две темы в одну.

Но это может привести к состоянию гонки, например, когда обновление происходит после удаления.

Так что бы был способ справиться с этим? Может быть, объединяя потоки во временном окне? Это вообще разрешимо?

P.S. Я знаю о Debezium для захвата удалений, но 20 тысяч долларов за лицензию Golden Gate - это слишком много для моего случая: (.

...