Как установить auto.create.topics.enable в качестве конфигурации по умолчанию в кластере AWS MSK

Question

Наш кластер AWS MSK не создает автоматически темы, когда продюсер впервые публикует сообщение для темы.Это удивительно, потому что поведение по умолчанию в соответствии с https://kafka.apache.org/documentation/#brokerconfigs должно иметь auto.create.topics.enable = true.

Я попытался установить эту конфигурацию на своих брокерах, но я не могу, потому что конфигурация read-only для динамическогообновления.

$ kafka-configs --bootstrap-server $KAFKA_BROKER --entity-type brokers --entity-default --alter --add-config auto.create.topics.enable=true

Error while executing config command with args '--bootstrap-server $KAFKA_BROKER --entity-type brokers --entity-default --alter --add-config auto.create.topics.enable=true'
java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.InvalidRequestException: Invalid config value for resource ConfigResource(type=BROKER, name=''): Cannot update these configs dynamically: Set(auto.create.topics.enable)

примечание. Я заменил IP-адрес нашего брокера на $KAFKA_BROKER в выводе

Как настроить кластер AWS MSK Kafka для включения автоматического созданияиз тем?

Answer 1

В дальнейшем вы можете установить этот параметр на true с помощью , настроив конфигурацию , однако он останется false по умолчанию, поскольку это рекомендуемая производственная конфигурация.

Answer 2

Хотя auto.create.topics.enable обычно по умолчанию равно true, это не относится к AWS MSK.Согласно этим слайдам , представленным на саммите AWS Kafka в Берлине в феврале этого года, следующие параметры конфигурации по умолчанию для Amazon MSK:

offsets.topic.replication.factor 3
transaction.state.log.replication.factor 3
transaction.state.log.min.isr 2
auto.create.topics.enable False
default.replication.factor 3
min.insync.replicas 2
unclean.leader.election.enable True
auto.leader.rebalance.enable True
authorizer.class.name kafka.security.auth.SimpleAclAuthorizer
group.initial.rebalance.delay.ms 3000
log.retention.hours 168 

Обратите внимание, что даже в документах Kafka упоминается, что Рекомендуемая производственная конфигурация должна быть установлена ​​на false.Также кажется, что это свойство не настраивается в MSK, поэтому я бы посоветовал связаться с поддержкой AWS или просто поработать с ним и создавать темы перед запуском ваших продюсеров.