Я пытался загрузить данные с сервера SQL (с включенным отслеживанием изменений) в Kafka, чтобы они могли использоваться одной или несколькими системами (отчетами, другими БД и т. Д.)
Мне удалось настроить подключаемый модуль Kafka для сервера sql (confluentinc / kafka-connect-cdc-mssql: 1.0.0-preview), и мне также удалось запустить его на компьютере kafka.
Я искал документацию (не могу найти), которая поможет ответить на следующие вопросы
- Как связать тему кафки с этим соединением?
- На основании информации, которую я нашел (на форумах debezium), тема будет создаваться для каждой отдельной таблицы -> работает ли она так же с соединителем сервера kafka sql?
- Я настроил соединение в распределенном режиме, у нас kafka работает на нескольких серверах, нужно ли запускать соединение на каждом сервере?
- Кто-нибудь использовал Debezium с отслеживанием изменений сервера sql и kafka? веб-сайт для Debezium описал соединение в «альфа-стадиях», и мне было интересно, есть ли активные пользователи.
PS: я также открыт для других вариантов загрузки данных в реальном времени с sql-сервера в Kafka (соединение с jdbc с меткой времени / числовым полем является моим вариантом резервного копирования. Вариант резервного копирования, поскольку в моей исходной базе данных есть несколько таблиц, которые делают не содержат таких полей [изменения отсутствуют и не могут быть отслежены с помощью полей с числовыми / временными метками]).