Почему производительность Kafka Consumer с последним смещением и самым ранним смещением отличается?

Question

Запрос на выборку такой же.

maxWait: 100ms
minBytes: 1
fetchSize: 1048576

Когда я использую с самого раннего смещения, это очень быстро и может быть 10000 записей в секунду.Однако, когда я использую последнее смещение, оно очень медленное и может составлять 10 000 записей в минуту.

Кто-нибудь знает почему?

Answer 1

В режиме earliest Kafka хранит данные, хранящиеся на диске, и при каждой выборке данных он может извлекать 1048576 КБ данных (до чтения всех данных на диске), но в режиме latest Kafka прослушивает новые данные, и это также зависит от скорости генерации данных производителя. В режиме latest Кафка будет ждать maxWate и получит все новые данные. Так что это естественное поведение.