Я читаю из kafka с использованием искровой структурированной потоковой передачи, ниже мой поток чтения
val inputDf = spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", brokers)
//.option("subscribe", topic)
.option("assign"," {\""+topic+"\":[0]}")
.option("startingOffsets", "earliest")
.option("maxOffsetsPerTrigger", 60000)
.load()
Я пытаюсь увидеть свою группу потребителей в kafka с помощью команды ниже kafka.Я заметил, что когда я читаю только из одного раздела, он не создает никакой группы потребителей, но когда я читаю из темы (в моем случае у меня есть 3 раздела для этой темы) без явного упоминания разделов, это создает группы потребителей.Это ожидаемое поведение? Если да, то почему?
./kafka-consumer-groups.sh --bootstrap-server kfk01.sboxdc.com:9092,kfk02.sboxdc.com:9092,kfk03.sboxdc.com:9092 --list