Соединитель источника и приемника Kafka не работает для больших данных - PullRequest
Новая
       6

Соединитель источника и приемника Kafka не работает для больших данных

1 голос
/ 11 марта 2019

Я создаю конвейер данных, используя соединитель источника и приемника Kafka.Соединитель исходного кода использует базу данных SQL и публикуется в теме, а соединитель Sink подписывается на тему и помещается в другую базу данных SQL.Таблица имеет 16 ГБ данных.Теперь проблема в том, что данные не передаются из одной БД в другую.Однако, если размер таблицы небольшой, например 1000 строк, данные успешно передаются.

Конфигурация разъема источника: 

"config": {
       "connector.class": 
"io.confluent.connect.jdbc.JdbcSourceConnector",
       "tasks.max": "1",
       "connection.url": "",
       "mode": "incrementing",
       "incrementing.column.name": "ID",
       "topic.prefix": "migration_",
       "name": "jdbc-source",
       "validate.non.null": false,
       "batch.max.rows":5
     }

Журналы разъема источника: 

INFO WorkerSourceTask{id=cmc-migration-source-0} flushing 0 outstanding messages for offset commit 
[2019-03-08 16:48:45,402] INFO WorkerSourceTask{id=cmc-migration-source-0} Committing offsets
[2019-03-08 16:48:45,402] INFO WorkerSourceTask{id=cmc-migration-source-0} flushing 0 outstanding messages for offset commit
[2019-03-08 16:48:55,403] INFO WorkerSourceTask{id=cmc-migration-source-0} Committing offsets(org.apache.kafka.connect.runtime.WorkerSourceTask:397)

Кто-нибудь может мне подсказать, как настроить мой разъем источника Kafka для передачи больших данных?

...