Почему тема __consumer_offsets в kafka распространяется не на всех брокеров?

Question

У меня кластер узлов 3 zk . И 7 кафка брокер узлы.

Поэтому, когда я создаю какую-либо тему, я могу установить коэффициент реплики, а не количество разделов, используя аргументы командной строки.

И эти разделы распространяются на всех 7 брокеров. Но есть одна тема, т. Е. __consumer_offsets, она создается автоматически и распространяется только на 1 брокера (id = 0) с 1 репликацией.

Мне известно, что я могу изменить значение по умолчанию no of factor репликации в файле конфигурации.

Но эта тема реплицируется только одному брокеру. Так что же это за параметр, который можно изменить для репликации разделов всем посредникам.

Answer 1

Вам нужно будет использовать переназначение раздела Kafka. К сожалению, в настоящее время это полуручный процесс: https://kafka.apache.org/documentation/#basic_ops_cluster_expansion

Answer 2

Это звучит очень странно для меня. Я развернул кластер с 3 брокерами Kafka, и моя тема __consumer_offsets имеет 50 разделов (по умолчанию), разделенных на 3 брокера и имеющих 3 (по умолчанию) в качестве реплик. То, что вы описываете, может произойти, когда вы начнете с одного брокера Kafka, создайте потребителей для чтения тем, чтобы автоматически создавалось __consumer_offsets, и оно было только на брокере 0 (единственном). После этого вы добавляете новых брокеров Kafka: без каких-либо действий __consumer_offsets все равно останется на брокере 0; вам нужно использовать Kafka для ручного переназначения раздела, как указано выше.

Answer 3

Вам необходимо установить для "offsets.topic.replication.factor" нужное количество реплик в конфигурации брокера.

offsets.topic.replication.factor - "Коэффициент репликации для темы смещений ( установлен выше, чтобы обеспечить доступность ). Внутреннее создание темы не будет выполнено, пока размер кластера не будет соответствовать этому требованию к коэффициенту репликации."

Ссылка - http://kafka.apache.org/documentation/#brokerconfigs