Как масштабировать приложение Kafka Streams, работающее на кубернетах

Question

У меня есть приложение kafka streams, которое работает на модуле в кластере Kube.

Попытка найти способ для Kube увеличивать / уменьшать количество модулей на основе kafka topi c лаг.

Кто-нибудь уже прошел этот путь раньше и желает поделиться некоторыми подробностями?.

Answer 1

Для масштабирования на основе задержки ваше приложение должно иметь возможность публиковать sh показателей (например, с использованием микрометра), используя тип измерителя (Gauge https://micrometer.io/docs/concepts#_gauges)

Затем вам нужно будет собрать метрики с помощью системы мониторинга (например, Prometheus)

масштабирование вверх / вниз в зависимости от значения счетчика / метри c.

(Отметьте этот образец проекта как пример https://github.com/learnk8s/spring-boot-k8s-hpa)

Примечание: но рассмотрите мой комментарий как максимальное количество разрешенных потребителей> = количество topi c разделов