Переопределение количества разделов - PullRequest
Новая
       22

Переопределение количества разделов

0 голосов
/ 05 июня 2018

Отсюда https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/blob/master/spring-cloud-stream-binder-kafka/src/main/java/org/springframework/cloud/stream/binder/kafka/KafkaMessageChannelBinder.java кажется невозможным, но все равно спрашиваю, пропустил ли я его.

В Spring Cloud Data Flow пытаются создать поток, но необходимо установить пользовательские разделы для темы.

Кажется, счетчик разделов рассчитывается на основе количества экземпляров приложений.Есть ли способ переопределить количество разделов, используемых в теме? Они должны быть установлены по обе стороны очереди (потребитель, производитель), но это не будет проблемой.

Заранее спасибо

1 Ответ

0 голосов
/ 06 июня 2018

Вы можете изменить поведение по умолчанию, установив: --spring.cloud.stream.kafka.binder.minPartitionCount=<CUSTOM_VALUE>.

Обратите внимание на предпосылки, описанные для этого свойства в справочном руководстве .

Кроме того, вы найдете следующее ПРИМЕЧАНИЕ из руководства в целом полезным.

"Привязка Kafka использует настройку partitionCount производителя в качестве подсказки для создания темы с заданным количеством разделов (в сочетании с minPartitionCount, максимальное из двух значений является используемым значением)Соблюдайте осторожность при настройке как minPartitionCount для подшивки, так и partitionCount для приложения, так как используется большее значение. Если тема уже существует с меньшим количеством разделов и autoAddPartitions отключена (по умолчанию), то подшивка не запускается. Еслираздел уже существует с меньшим количеством разделов, и autoAddPartitions включен, добавляются новые разделы. Если раздел уже существует с большим числом разделов, чем максимальное значение (minPartitionCount или partitionCount), используется существующее количество разделов. "

Что касается SCDF, вы можете переопределить это свойство для App либо из командной консоли, либо из пользовательского интерфейса.Если вы хотите, чтобы это было глобально применено ко всем приложениям Stream, это также возможно - см. здесь .

...