Я пытаюсь преобразовать конфигурацию kafka, не поддерживающую стойку, в стойку.Моя установка выглядит следующим образом:
6 брокеров, через 3 разных АЗ в одном регионе (2 брокера в каждом АЗ).
- AZ-1a
broker1 (brokerID: 1) has setting 'broker.rack=aws-az-1a'
broker2 (brokerID: 2) has setting 'broker.rack=aws-az-1a'
- AZ-1b
broker3 (brokerID: 3) has setting 'broker.rack=aws-az-1b'
broker4 (brokerID: 4) has setting 'broker.rack=aws-az-1b'
- AZ-1c
broker5 (brokerID: 5) has setting 'broker.rack=aws-az-1c'
broker6 (brokerID: 6) has setting 'broker.rack=aws-az-1c'
Всего 3 стойки, по 2 брокера в каждой.
У меня есть тема kafka 'xyz' с 12 разделами и коэффициентом репликации 3.
Ранее у нас гарантировалось иметь реплику в более чем одном AZ из-за превышения коэффициента репликацииколичество брокеров (3 против 2) в каждом конкретном AZ.
Однако, учитывая нашу конфигурационную стойку, я хочу, чтобы это было так, чтобы у меня было по 1 реплике в каждом из 3 AZ.
Я создаю файл 'partition-reassignment-configuration' следующим образом:
./kafka-reassign-partitions.sh --zookeeper $ZK --generate --topics-to-move-json-file topics-to-move.json --broker-list '1,2,3,4,5,6'
, где themes-to-move.json содержит:
{"topics": [{"topic": "xyz"}],
"version":1
}
)
Проблема, с которой я сталкиваюсь, заключается в том, что вывод, который я получаю, когда генерирую «Предложенную конфигурацию переназначения разделов», кажется, выбирает брокеров только из 2 AZS / стоек.Из этого всегда следует, что он выбирает одну стойку, затем другую, затем снова первую стойку.
, т.е.: rack1, rack2, rack1
Мне кажется, что мне не хватает чего-то тонкого.При обновлении файла свойств каждого брокера значением 'broker.rack' kafka был перезапущен.Тем не менее, я все еще не могу получить «Предложенную конфигурацию переназначения разделов», чтобы охватить все 3 стойки (по одной реплике на стойку).
Похоже, не так много документации по этому поводу (что заставляет меня верить, что это должно быть очень простым).Однако до сих пор мне не удалось получить полностью настроенную стойку конфигурацию.