Увеличить количество разделов

Question

Мы работаем над Confluent Platform, и мы все еще знакомимся с внутренними компонентами.Но мы реализовали общие варианты использования.Мы пытаемся оптимизировать наш кластер

. В моем случае мне нужно увеличить количество разделов в теме.Каково влияние этого?Можете ли вы поделиться этим

Answer 1

Конечно, вы можете увеличить разделы.

Однако ,

1. Увеличение разделов не перемещает существующие данные.Если вы используете Confluent Enterprise, вы можете использовать confluent-rebalancer, а если нет, то kafka-reassign-partitions CLI tool.Таким образом, вы определенно захотите перебалансировать тему, чтобы «оптимизировать» кластер.
2. В течение срока хранения темы (см .: для существующих данных), если ранее у вас был производитель, отправляющий данные в раздел N, а теперь было N+1 разделов, то вы теряете порядок этихсообщения, которые существовали только в разделе N.Новые сообщения могут быть распределены по новым разделам, которые новый производитель вычисляет с помощью DefaultPartitioner.Если вы не отправляете ключи с сообщениями, то это не проблема.