Я использую два файла свойств, один для источника и один для приемника. Я вижу, что и тема, и потребитель созданы без каких-либо проблем, я не вижу ни одной ОШИБКИ в каком-либо файле журнала или командной строке при запуске описанных выше соединителей. Тем не менее в целевой базе данных Postgresql не создано ни одной таблицы.
Попытка реплицировать таблицы из Oracle в Postgresql с использованием kafka не требует установки только файла jar коннектора. версии:
kafka_2.12-2.3.0-test
confluent kafka-connect-jdbc-5.2.3.jar
ojdbc7.jar
postgresql-42.2.8.jar
запустить следующую команду после запуска zookeeper и kafka
bin/connect-standalone.sh config/connect-standalone.properties config/connect-oracle-jdbc-source.properties config/connect-postgresql-jdbc-sink-one-table.properties
разъем источника
name=test-oracle-jdbc
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:oracle:thin:@xxxxxxx
connection.user=my_user
connection.password=my_password
table.whitelist=LOADER_JOBS
tables="LOADER_JOBS"
mode=timestamp
timestamp.column.name=START_TIME
topic.prefix=test_jdbc_loader_jobs
numeric.mapping=best_fit
разъем для мойки
name=test-postgres-jdbc-one-table
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
max.retries=20
connection.url=jdbc:postgresql://localhost:5432/postgres
connection.user=postgres
connection.password=postgres
topics.regex=test_jdbc_loader_jobs
uto.create=true
auto.evolve=true