Apache Kafka, почему производитель связан с брокером, а потребитель связан с zookeeper？ - PullRequest
Новая
       8

Apache Kafka, почему производитель связан с брокером, а потребитель связан с zookeeper？

0 голосов
/ 27 апреля 2018

Старая версия предполагает, что потребитель подключит zookeeper, а новая версия предлагает связать брокера? Пользователь из сообщества ответил мне, что старая версия смещения темы - ZK, а новая версия - сама Кафка. Это ответ на этот ответ?

1 Ответ

0 голосов
/ 27 апреля 2018

Старые версии Kafka, т. Е. До версии 0.9, сохраняются в Zookeeper.

Более новая версия Kafka, хранит смещения во внутренней теме Kafka под названием __ consumer_offsets .

Более новая версия по-прежнему предоставляет возможность сохранять смещения с помощью Zookeeeper.

При этом потребители теперь могут разговаривать только с брокерами, и им не нужно полагаться на Zookeeper.

Если из Kafka одновременно читают многие потребители, нагрузка чтения-записи в ZooKeeper может превысить его емкость, что делает ZooKeeper узким местом.

проверьте это для получения дополнительной информации

https://github.com/SOHU-Co/kafka-node/issues/502

...