max-poll-записи потребителей kafka: 1 - производительность

Question

У меня весенний загрузочный проект с потребителем кафки.Мне нужно обрабатывать ошибки, если приходит какое-то сообщение - остановите контейнер.Поэтому я добавил эти настройки:

spring.kafka.consumer.max-poll-records: 1

Теперь мне нужно знать, какое влияние это окажет (большое или не очень) на производительность с этим параметром и без него (по умолчанию 500).Если я оставлю значение по умолчанию, то kafkaListenerEndpointRegistry.getListenerContainer("myID").stop(); не будет выполняться, пока слушатель kafka не обработает все сообщения в пакете, и это не годится для меня для порядка.

Answer 1

Вы должны измерить это.Существует скрипт kafka-verifiable-producer.sh, который может помочь вам генерировать большое количество сообщений.А на стороне потребителя вы можете измерить, сколько нужно потреблять все сообщения со значением по умолчанию и сколько с помощью spring.kafka.consumer.max-poll-records: 1