Как установить смещение на начало в JDBC Source Connector для извлечения всех данных из таблицы MySQL в Kafka - PullRequest
Новая
       51

Как установить смещение на начало в JDBC Source Connector для извлечения всех данных из таблицы MySQL в Kafka

0 голосов
/ 04 ноября 2019

Я добавил JDBC Source Connector, используя Kafka Connect, который извлекает данные из таблицы MySQL.

Соединитель успешно добавлен, и в него поступают данные в режиме реального времени.

Носоответствующая тема не содержит все предыдущие данные.

Я попытался перезапустить Kafka Connect.

Вот моя конфигурация коннектора источника JDBC: 

{
"name": "kb_yp_loan",
"connector.class": "io.aiven.connect.jdbc.JdbcSourceConnector",
"tasks.max": "1",
"key.converter": "org.apache.kafka.connect.storage.StringConverter",
"value.converter": "io.confluent.connect.avro.AvroConverter",
"value.converter.schema.registry.url": "XXXX",
"value.converter.basic.auth.credentials.source": "USER_INFO",
"value.converter.basic.auth.user.info": "XXXX",
"config.action.reload": "restart",
"connection.url": "jdbc:mysql://XXXX/XX?user=XXXX&password=XXXX&useCursorFetch=true&defaultFetchSize=1000",
"connection.user": "XXXX",
"connection.password": "XXXX",
"table.whitelist": "yp_loan",
"mode": "incrementing",
"incrementing.column.name": "id",
"topic.prefix": "kb_"

}

Подскажите, пожалуйста, как мне перенести все предыдущие данные в тему Кафки.

...