Могут ли разделы в одном Kafka topi c иметь разные коэффициенты репликации?

Question

При определении топики kafka c я могу установить коэффициент репликации, и обычно Kafka распределяет разделы по доступным брокерам.

Скажем, у меня 3 брокера и топи c с несколько разделов и коэффициент репликации = 2, тогда некоторые разделы будут установлены для брокеров [0,1], некоторые [0,2] и некоторые на [1,2] (игнорируя выбор / предпочтение лидера на данный момент )

Могу ли я позже, например, установить только один раздел, чтобы иметь коэффициент репликации 3 (и, таким образом, добавить этот раздел к оставшемуся узлу), не делая этого также для других разделов? Есть ли какой-то недостаток в том, что число! = Все разделы реплицированы на большее / меньшее количество узлов, чем остальные?

Вся документация и т. c Я видел только когда-либо говорящие о факторе репликации в терминах целых тем

Я знаю, что я использую kafka-reassign-разделы для каждого раздела, но я не нашел ни обсуждения, ни рекомендаций о том, хорошо ли / плохо ли переназначать только несколько разделов или какие опасности (если есть) может быть

Answer 1

Только разделы имеют факторы репликации, а не разделы.

Разделы могут стать несинхронными c и потерять лидерство в случае ошибок, и в этом случае один или несколько разделов становятся недоступными, но topi c по-прежнему является источником того, сколько реплик должно быть

Я не нашел ни обсуждения, ни рекомендаций о том, хорошо это / плохо, переназначать только несколько разделов

Вы Обычно это делается только для обслуживания или расширения кластера, чтобы большие разделы не занимали слишком много дискового пространства у определенных брокеров.

Основная «плохая» вещь заключается в том, как быстро ваша сеть передает раздел, продолжая обрабатывать трафик c в другие реплики topi c.