Тема Kafka застряла, несмотря на наличие более 30 реплик монитора kafka

Question

demo.incoming тема в Кафке продолжает накапливаться.

Я использую блок скрапа . Около 70 запросов в секунду отправляются в Kafka через API REST Scrapy Cluster (Производитель). Пауки могут закончить сканирование довольно быстро, потому что очередь в redis остается на очень низком уровне, меньше чем 10 большую часть времени. Но количество сообщений в demo.incoming продолжает накапливаться каждую секунду. Это команда, которую я использовал для проверки количества сообщений в теме demo.incoming в Kafka

kafka-run-class.sh kafka.tools.GetOffsetShell \
--broker-list localhost:9092,kafka-statefulset-2:9092,kafka-statefulset-1:9092 \
--topic demo.incoming \
--time -1 --offsets 1 | awk -F ":" '{sum += $3} END {print sum}'

Я думал, что это потому, что Kafka-monitor (Consumer) не может получить сообщение от Kafka и достаточно быстро нажать кнопку, чтобы вызвать повторную передачу, что приводит к скоплению темы demo.incoming. Несмотря на увеличение Kafka-монитора до 30 реплик, темы продолжают накапливаться.

Количество разделов в этой теме равно 8, что показано на скриншоте.

Теоретически, количество сообщений в Кафке должно оставаться очень низким. Поскольку потребитель, в данном случае Kafka-monitor, должен принять сообщение сразу же, как только оно прибудет, учитывая, что оно имеет более 30 реплик.

Answer 1

Эта команда перечисляет конечные смещения всех разделов, а не «количество сообщений» в теме (для которых нет точной команды без вычисления начальных и конечных смещений).Сумма, которую вы зарабатываете, всегда будет увеличиваться.Скорость, с которой увеличивается это значение, говорит только о том, как быстро действует производитель, а не о скорости потребления.

Если вы хотите проверить количество сообщений, которые еще должны быть обработаны группой потребителей, вы должны использовать kafka-consumer-groups tool

Поскольку в теме фактически есть 8 разделов, тогдаНе более 8 пользователей в одной группе одновременно по этой теме, хотя я не уверен, как работает ваш инструмент мониторинга Kafka