JDB C Параметры конфигурации мойки batch.size - PullRequest
Новая
       6

JDB C Параметры конфигурации мойки batch.size

0 голосов
/ 18 января 2020

Из https://docs.confluent.io/3.1.1/connect/connect-jdbc/docs/sink_config_options.html#jdbc -sink-configuration-options 

Specifies how many records to attempt to batch together for insertion into the destination table, when possible.

Type: int
Default: 3000
Valid Values: [0,…]
Importance: medium

Итак, это с сайта Confluent.

Значение среднее, по умолчанию 3000. Что если я хочу, чтобы KAFKA менялась каждые 30 секунд, даже если, скажем, только 27 сообщений KAFKA для topi c? Каковы настройки по умолчанию, при которых обработка выполняется за истекшее время? Мы все знаем, что это удовлетворено, поскольку мы можем запустить много примеров, просто передавая 1 запись, скажем, mySQL в SQLServer, но я не могу найти значение параметра для обработки на основе времени. Могу ли я повлиять на это?

https://github.com/confluentinc/kafka-connect-jdbc/issues/290 Отметил и это. Там есть кое-что интересное.

1 Ответ

0 голосов
/ 18 января 2020

Я думаю, что вам следует сосредоточиться на словах "когда это возможно"

consumer.max.poll.records всегда будет хватать столько записей Кафки. После завершения опроса приемник JDB C будет собирать столько пакетов, сколько необходимо, до тех пор, пока в течение consumer.max.poll.interval.ms

не будет вызван следующий опрос потребителей.
...