Как работает коннектор kafka для баз данных postgresql и mysql

Question

Я следую инструкциям по быстрому старту отсюда quick-start-kafka-connect

Этот туториал покажет, как передавать изменения таблицы базы данных mysql в тему kafka.

Единственная часть - загрузить все и просто добавить /tmp/kafka-connect-jdbc-source.json файл с некоторыми свойствами конфигурации и запустить

Как это работает в фоновом режиме?

1: Создает ли он связь с базой данных и таблицами мониторинга в течение определенных интервалов времени?ИЛИ

2: Использует ли он журнал репликации?(я не знаю, как это работает)

3: это тот же механизм для mysql и postgresql?

Answer 1

Дебезиум контролирует OpLog.

Kafka Connect JDBC от Confluent (с которым вы связаны) может использовать временной интервал, и эта конфигурация используется всеми JDBC-совместимыми соединениями, включая MySQL и Postgres.

Для инкрементных режимов запросов, в которых используются временные метки, исходный соединитель использует конфигурацию timestamp.delay.interval.ms ...

---

журнал репликации?(я не знаю, как это работает)

Вы можете найти руководство по Debezium здесь , но этот механизм отличается для Mongo, Postgres, MySQL, MSSQL, Oracle и т. д.