Кафка подключить JDBC разъем источника не работает - PullRequest
Новая
       27

Кафка подключить JDBC разъем источника не работает

0 голосов
/ 08 июля 2019

Привет всем, Я использую соединитель источника Kafka JDBC используя для postgres. Ниже приведена конфигурация моего разъема. Некоторые как то не приносят никаких данных. Что не так в этой конфигурации? 

{
    "name": "test-connection",
    "config": {
       "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
       "mode": "timestamp",
       "timestamp.column.name": "TEST_DT",
       "topic.prefix": "test",
       "connection.password": "xxxxxx",
       "validate.non.null": "false",
       "connection.user": "xxxxxx",
       "table.whitelist": "test.test",
       "connection.url": "jdbc:postgresql://xxxx:5432/xxxx?ssl=true&stringtype=unspecified",
       "name": "test-connection"
},
  "tasks": [],
  "type": "source"
}

Нужно ли создавать тему или она генерируется автоматически?

Я ожидаю, что данные будут передаваться в зависимости от примера, но данные не будут передаваться. Следующим является журнал, который я вижу в kafka connect. Но данные не поступают.

Вход

[2019-07-07 20: 52: 37,465] INFO WorkerSourceTask {id = test-connection-0} Фиксирование смещений (org.apache.kafka.connect.runtime.WorkerSourceTask) [2019-07-07 20: 52: 37,465] INFO WorkerSourceTask {id = test-connection-0} сбрасывает 0 ожидающих сообщений для фиксации смещения (org.apache.kafka.connect.runtime.WorkerSourceTask)

1 Ответ

0 голосов
/ 08 июля 2019

Нужно ли создавать тему или она генерируется автоматически?

генерируется автоматически с префиксом «test», установленным в "topic.prefix": "test"

поэтому ваша тема называется "testtest-connection" или "testtest.test"

возможно, что вы используете схему Avro, если это так, вам придется использовать тему с потребителем Avro.

...