Настройка плагина Kafka connect Postgress Debezium CDC - PullRequest
0 голосов
/ 12 апреля 2019

Я пытаюсь использовать kafka connect для чтения изменений в БД postgress. У меня Kafka работает в моей локальной системе, и я хочу использовать API подключения Kafka в автономном режиме для считывания изменений БД сервера postgress.

connect-standalone.sh connect-standalone.properties dbezium.properties

Буду признателен, если кто-нибудь сможет мне помочь с настройкой параметров конфигурации для разъема debezium CDC postgress

https://www.confluent.io/connector/debezium-postgresql-cdc-connector/

Я следую нижеприведенному описанию, чтобы построить свойства

https://debezium.io/docs/connectors/postgresql/#how-the-postgresql-connector-works

Название тем Кафки принимает по умолчанию форму serverName.schemaName.tableName, где serverName - логическое имя соединителя, как указано в database.server.name свойство конфигурации

и вот что я придумал для dbezium.properties

name=cdc_demo
connector.class=io.debezium.connector.postgresql.PostgresConnector
tasks.max=1
plugin.name=wal2json
slot.name=debezium
slot.drop_on_stop=false
database.hostname=localhost
database.port=5432
database.user=postgress
database.password=postgress
database.dbname=test
time.precision.mode=adaptive
database.sslmode=disable

Допустим, я создаю имя схемы PG в качестве демонстрации и имя таблицы в качестве поставщиков

Так что мне нужно создать тему с именем test.demo.suppliers , чтобы этот плагин мог отправить данные в?

Также может кто-нибудь предложить образ докера, на котором есть сервер postgress + с подходящим плагином репликации, таким как wal2json и т. Д.? У меня проблемы с настройкой postgress и плагина CDC.

1 Ответ

1 голос
/ 12 апреля 2019

Изучите учебник со связанными Docker Compose и пример конфигурации .

Тема, с которой вы столкнулись, звучит правильно, но если ваш брокер Kafka настроен на автоматическое создание тем (что является поведением по умолчанию IIRC), то он будет создан для вас, и вам не нужно предварительно -создать это.

...