Как получить доступ к удаленной базе данных в Apache Kafka?

Question

Я новичок в кафке. Здесь я пытаюсь построить конвейер данных в реальном времени в Кафке. У меня есть база данных, которая расположена удаленно. Я действительно не понимаю, как получить доступ к базе данных и базы данных постоянно обновляются, как в режиме реального времени. Я читал о дебезии [https://debezium.io/docs/tutorial/]], но в полном уроке они не показали ни одного примера, в котором они извлекали данные из удаленной базы данных в реальном времени. У меня есть база данных MySQL.

Answer 1

В идеале Debezium должен работать как можно ближе к серверу базы данных

Но если вы посмотрите учебник, если указывает удаленный док-контейнер, и вы можете заменить имя хоста на то, что соответствует вашей среде

"connector.class":  "io.debezium.connector.mysql.MySqlConnector", 
"tasks.max": "1", 
"database.hostname": "... Your server here... ", 
"database.port": "3306",

Другим вариантом являются коннекторы Kafka Connect JDBC, и вы можете увидеть несколько сообщений в блоге от Confluent о том, как их можно настроить