Когда я запускаю потребителя с одним экземпляром, он отображается в группе потребителей, но не потребляет данные из темы.После этого, если я запускаю другого потребителя, а мой первый потребитель начинает потреблять данные, но для последнего экземпляра потребителя ему не назначен раздел.
ниже - информационный журнал при запуске первого экземпляра потребителя.
INFO: kafka.client: метаданные кластера начальной загрузки из [(u'kafka-broker1.ap-south-1.staging.internal ', 9092, 0)] INFO: kafka.conn :: подключение к 172.31.1.66: 9092 ИНФОРМАЦИЯ: kafka.client: Начальная загрузка выполнена успешно: найдено 3 брокера и 19 тем.ИНФОРМАЦИЯ: kafka.conn :: Закрытие соединения.ИНФОРМАЦИЯ: kafka.conn :: подключение к 172.31.1.148:9092 ИНФОРМАЦИЯ: kafka.conn: версия посредника, идентифицированная как 0.11.0 ИНФО: kafka.conn: установка конфигурации api_version = (0, 11, 0) для пропуска автоматических запросов check_version приИнформация о запуске: kafka.consumer.subscription_state: подписка на шаблон: / events / INFO: kafka.conn :: подключение к 172.31.1.70:9092 ИНФО: kafka.cluster: Координатором группы для журнала данных является BrokerMetadata (nodeId = 1, host = u'kafka-broker1.ap-south-1.staging.internal', порт = 9092, стойка = нет) ИНФОРМАЦИЯ: kafka.coordinator: обнаружен координатор 1 для группы данных INFO: kafka.conn :: подключение к 172.31.1.66:9092ИНФОРМАЦИЯ: kafka.coordinator.consumer: отмена ранее назначенного набора разделов ([]) для группы данных ИНФО: kafka.coordinator: (повторное) присоединение к группе данных ИНФОРМАЦИЯ: kafka.consumer.subscription_state: обновление подписанных тем на: [u'events'] ИНФОРМАЦИЯ: kafka.coordinator: Объединенная группа' datadog '(поколение 843) с member_id kafka-python-1.3.5-e3c25fb3-39ea-4550-845f-9b663355b4f5 INFO: kafka.coordinator: Успешно присоединился group datadog с поколением 843 INFO: kafka.consumer.subscription_state: обновленное назначение раздела: [] INFO: kafka.coordinator.consumer: установка набора вновь назначенных разделов ([]) для группы данных
Когда язапустить второй экземпляр. Первый экземпляр получает назначенный раздел, а второй экземпляр имеет назначенный 0 раздел и имеет тот же информационный журнал, что и первый экземпляр, до запуска второго экземпляра.
ниже приведен информационный журнал первого экземпляра после запуска второго экземпляра.
ИНФОРМАЦИЯ: kafka.coordinator.consumer: установка набора вновь назначенных разделов ([]) для группового журнала данных ПРЕДУПРЕЖДЕНИЕ: kafka.coordinator: сбой сердцебиения для группового данных, так как выполняется повторная балансировка ВНИМАНИЕ: kafka.coordinator: сбой сердцебиения[Ошибка 27] RebalanceInProgressError);повторная попытка INFO: kafka.coordinator.consumer: отмена ранее назначенного набора разделов ([]) для группы данных INFO: kafka.coordinator: (повторное) присоединение к группе данных INFO: kafka.coordinator: пропуск пульса: нет автоматического назначения или ожидание включеноИНФОРМАЦИЯ о ребалансировке: kafka.coordinator: объединенная группа 'datadog' (поколение 843) с member_id kafka-python-1.3.5-ddb66185-c615-4f31-9729-9384131f24c9 INFO: kafka.coordinator: руководитель выбранной группы - выполнение назначений разделов с использованиемдиапазон INFO: kafka.coordinator: успешно присоединился групповой информационный журнал с поколением 843 INFO: kafka.consumer.subscription_state: обновленное назначение раздела: [TopicPartition (topic = u'events ', partition = 0), TopicPartition (topic = u'events',partition = 1), TopicPartition (topic = u'events ', partition = 2), TopicPartition (topic = u'events', partition = 3), TopicPartition (topic = u'events ', partition = 4), TopicPartition (topic= u'events ', partition = 5), TopicPartition (topic = u'events', partition = 6), TopicPartition (topic = u'events ', partition = 7), TopicPartition (topic = u'events ', partition = 8), TopicPartition (topic = u'events', partition = 9)]ИНФОРМАЦИЯ: kafka.coordinator.consumer: установка набора новых назначенных разделов ([TopicPartition (topic = u'events ', partition = 6), TopicPartition (topic = u'events', partition = 7), TopicPartition (topic = u'events', partition = 8), TopicPartition (topic = u'events', partition = 9), TopicPartition (topic = u'events ', partition = 0), TopicPartition (topic = u'events', partition = 1), TopicPartition(topic = u'events ', partition = 2), TopicPartition (topic = u'events', partition = 3), TopicPartition (topic = u'events ', partition = 4), TopicPartition (topic = u'events',partition = 5)]) для группы данных
У нас всегда есть 1 экземпляр потребителя с неназначенными разделами во всех случаях, последний экземпляр потребителя всегда имеет 0 назначенный раздел
** Ниже приведен скриншот для того же **
Нет разделов, назначенных первому экземпляру потребителя
Нет разделов, назначенных последнему экземпляру потребителя
Мы также подозреваем кластеризацию кафки.Когда у нас было только 1 назначение раздела узла kafka для экземпляра потребителя, и повторная балансировка работала нормально.Но после перехода в многоузловой кластер мы сталкиваемся с этой проблемой