Могу ли я установить потребительский файл Kafka Stream group.id? - PullRequest
Новая
       1

Могу ли я установить потребительский файл Kafka Stream group.id?

1 голос
/ 19 марта 2019

Я использую библиотеку Kafka Stream для потокового приложения.Я хотел установить идентификатор группы потребителей kafka.Затем я помещаю конфигурацию потока Kafka, как показано ниже. 



    streamsCopnfiguration.put(StreamsConfig.APPLICATION_ID_CONFIG, "JoinTestApp");
    streamsCopnfiguration.put(StreamsConfig.CLIENT_ID_CONFIG, "JonTestClientId1");
    streamsCopnfiguration.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 10 * 1000);
    streamsCopnfiguration.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, bootstreapServer);
    streamsCopnfiguration.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
    streamsCopnfiguration.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.Bytes().getClass().getName());
    streamsCopnfiguration.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
    streamsCopnfiguration.put(StreamsConfig.consumerPrefix("group.id"), "groupId1");
//    streamsCopnfiguration.put(ConsumerConfig.GROUP_ID_CONFIG, "groupId1");

Но, моя конфигурация потребителя kafka журнала консоли не настроена для group.id.Просто идентификатор потокового приложения .. 

2019-03-19 17:17:03,206 [main] INFO  org.apache.kafka.clients.consumer.ConsumerConfig - ConsumerConfig values: 
auto.commit.interval.ms = 5000
auto.offset.reset = earliest
bootstrap.servers = [....]
check.crcs = true
client.dns.lookup = default
client.id = JonTestClientId111-StreamThread-1-consumer
connections.max.idle.ms = 540000
default.api.timeout.ms = 60000
enable.auto.commit = false
exclude.internal.topics = true
fetch.max.bytes = 52428800
fetch.max.wait.ms = 500
fetch.min.bytes = 1
group.id = JoinTestApp
heartbeat.interval.ms = 3000
interceptor.classes = []
internal.leave.group.on.close = false

Можно ли установить группу потребителей kafka stream.id??

1 Ответ

4 голосов
/ 19 марта 2019

Идентификатор приложения Kafka Streams используется в разных местах, чтобы изолировать ресурсы, используемые приложением, от других.

Идентификатор приложения используется как потребитель Kafka group.id для координации.Вот почему вы не можете установить group.id явно.

С Kafka Streams Официальная документация , идентификатор приложения также используется в следующих местах: 

 - As the default Kafka consumer and producer client.id prefix
 - As the name of the subdirectory in the state directory (cf. state.dir)
 - As the prefix of internal Kafka topic names
...