Получить все изменения в MySQL через определенное время

Question

У меня есть система, в которой есть база данных mysql, в которую вносятся изменения. Затем у меня есть другие машины, которые подключаются к этой базе данных mysql каждые десять минут или около того, и повторно загружают соответствующие таблицы (например, одна машина может загружать таблицы A, B, C, в то время как другая машина может загружать таблицы A, D, E ).

Без использования Debezium или Kafka, есть ли способ получить все изменения MySQL, сделанные после определенной отметки времени, так что только те изменения отправляются на компьютер, запрашивающий обновления, вместо целых таблиц? ... Например, машина X может захотеть, чтобы все изменения mysql были сделаны с момента последнего обращения к базе данных mysql, а затем применить эти изменения к своим старым данным, чтобы обновить их.

Есть ли способ сделать это?

Answer 1

Вы можете использовать Debezium в качестве библиотеки, встроенной в ваше приложение, если вы не хотите или можете развернуть кластер Kafka.

В качестве альтернативы, вы можете напрямую использовать MySQL Binlog Connector (он также используется соединителем Debezium внизу), он позволяет вам читать binlog с заданных позиций смещения.Но тогда вам придется самостоятельно разбираться со многими вещами, которые уже решаются такими решениями, как Debezium, например, правильной обработкой метаданных схемы и изменениями (например, добавлением столбцов в существующие таблицы).Обычно это включает в себя анализ MySQL DDL, который сам по себе довольно сложен.

Отказ от ответственности: я веду Debezium

Answer 2

MySQL можно настроить для автоматической репликации баз данных, таблиц и т. Д. Автоматически.Если соединение потеряно, оно будет восстановлено при восстановлении соединения.

Взгляните на эту страницу Репликация MySQL V5.5 или эту MySQL V8.0Репликация