Кафка некоторых моих потребителей не потребляет

Question

У меня есть тема с 32 разделами, в которой все они содержат данные.

Но когда я начинаю использовать несколько потребителей, только 4 потребителя могут получить тему формы данных.

Метаданные темы:

Вот панель мониторинга:

А вот и итоговые статистические данные:

дополнительный потребительский конфиг:

import "gopkg.in/confluentinc/confluent-kafka-go.v1/kafka"

config := kafka.ConfigMap{
        "broker.address.family": "v4", // Avoid connecting to IPv6 brokers
        "bootstrap.servers":     addr,
        "group.id":              groupID,
        "session.timeout.ms":    6000,
        "auto.offset.reset":     "earliest",
    }

Answer 1

По сути, нам нужно убедиться, что все потребители имеют одинаковое значение свойства group.id

Уникальная строка, идентифицирующая группу потребителей, к которой принадлежит этот потребитель. Это свойство требуется, если потребитель использует функциональность управления группой с помощью subscribe(topic) или стратегию управления смещением на основе Kafka.

Answer 2

Убедитесь, что у нескольких потребителей есть уникальные идентификаторы клиентов. Особенно, если потребители являются частью одного и того же процесса ОС.