Сколько раз поток kafka вызывает poll () для получения записей из темы kafka

Question

Я пытаюсь понять kafka stream processor немного больше. Я хочу знать, что такое frequency of polling потоковый процессор kafka для получения данных из kafka.

Как я понимаю, потоковый процессор kafka внутренне создает клиентский клиент kafka, который извлекает данные из kafka (и вызывает poll()).

Итак, когда в первый раз вызывается poll(), как в следующий раз он будет вызван снова для получения данных из kafka? Это происходит много раз в секунду? Как узнать, сколько раз вызывался poll () (для извлечения данных из kafka).

Любая помощь в понимании этого была бы очень полезна.

Answer 1

Нет абсолютного числа относительно того, как часто вызывается poll(). Существует множество факторов, которые влияют на то, как часто вызывается poll(). В качестве упрощенной модели можно предположить, что poll() вызывается, выбирает N записей и вызывается снова после обработки всех N записей.

Kafka Streams собирает метрики, которые сообщают вам, как часто вызывается poll(), поэтому вы можете легко отслеживать его: https://docs.confluent.io/current/streams/monitoring.html