max.poll.records vs batch.max.rows kafka. В чем разница между двумя свойствами?

Question

max.poll.records против batch.max.rows kafka. В чем разница между этими двумя свойствами?

Я использую задачу Kafka Sink для чтения записей из Kafka topi c. Метод put () в методе SinkTask является точкой входа, из которой будут получены все записи. В настоящее время, когда запускается соединитель, он собирает все записи вместе, которые не зафиксированы. Я хочу, чтобы рабочая задача извлекала одну запись за раз. Как это сделать? Какие из перечисленных выше свойств я должен указать в файле конфигурации соединителя?

Answer 1

max.poll.records является свойством конфигурации Kafka Consumer:

max.poll.records : максимальное количество записей, возвращаемых в один вызов poll().

batch.max.rows является свойством конфигурации Kafka Jdbc Source Connector:

пакет. max.rows : максимальное количество строк, включаемых в один пакет при опросе новых данных. Этот параметр можно использовать для ограничения объема данных, буферизуемых внутри соединителя.

---

Так что в вашем случае вы не можете использовать свойство batch.max.rows как неподходящее, но вы можете настроить batch.max.rows с префиксом consumer:

consumer.max.poll.records=1