Важность broker.id в Кафке?

Question

У нас есть свойство broker.id в файле свойств kafka.

Какое значение имеет broker.id и что если мы назначим одинаковое целое число для broker.id на всех экземплярах kafka, работающих на разных виртуальных машинах.

Answer 1

Из документации Apache Kafka:

Свойство broker.id - это уникальное и постоянное имя каждого узла в кластере.

Идентификатор брокера должен быть уникальнымпоскольку это значение используется в основных алгоритмах Kafka (лидер / последователи).

С другой стороны, каждый брокер Kafka регистрирует себя в Zookeeper, используя это значение broker.id.Это еще одна причина, почему это значение должно быть уникальным: в противном случае вы получите что-то вроде

java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/0. This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker and restarted it faster than the zookeeper timeout so it appears to be re-registering.