kafka kafka-consumer-groups. sh --describe не возвращает выходные данные для группы потребителей

Question

Кафка версия 1.1

--list может получить группу потребителей

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list --command-config config/client_security.properties
Note: This will not show information about old Zookeeper-based consumers.

spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0
console-consumer-23379
console-consumer-44846
console-consumer-75221
console-consumer-57833
yizhisec-traffic
console-consumer-91940
group1

не может получить никакой информации. Этот идентификатор группы потребителей генерируется с помощью spark .

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0  --command-config config/client_security.properties

Ничего не получается

Note: This will not show information about old Zookeeper-based consumers.

Но тестируйте работу других потребителей.

обновить подробнее

---

Я использую структурированную потоковую передачу kafka

и когда я использую zookeeper для запроса получения ошибки

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0  --command-config config/client_security.properties

получения ошибки

Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API).
Error: The consumer group 'spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0' does not exist.

Answer 1

kafka-consumer-groups \
  --bootstrap-server localhost:9092 \
  --describe \
  --group your_consumer_group_name

не вернет никакого вывода, если потребители в группе потребителей не зафиксировали никаких смещений.

---

Если выходные значения

bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --describe \
  --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 \
  --command-config config/client_security.properties

и

bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --new-consumer
  --describe \
  --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 \
  --command-config config/client_security.properties

совпадает, и группа потребителей появляется в выводе списка обеих групп потребителей, я предполагаю, что ваши потребители внутри группы потребителей spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 не зафиксировали каких-либо смещений, и поэтому информация с использованием описания не отображается 1013 * команда.

---

Убедитесь, что ваши потребители внутри spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 успешно фиксируют свои коррекции (вручную или автоматически).