Mirror Maker не делает тему автоматически - PullRequest
0 голосов
/ 03 марта 2019

Я устанавливаю создатель зеркала между 2 кластерами кафки.

Версия Кафки: kafka_2.11-2.1.0

Мой server.properties имеет auto.create.topics.enable=true.

Язапуск зеркала на моем целевом кластере.

Но новые темы не создаются автоматически, когда исходный кластер добавляет тему.Я должен в конечном итоге создать их вручную.И даже после создания вручную записи из исходного кластера не заполняются в этой новой теме, до тех пор, пока я не перезапущу зеркало.После перезапуска он начинает реплицировать сразу после вставки данных в источник.

Команда Mirror Maker

./kafka-mirror-maker.sh --consumer.config consumer.properties  --producer.config producer.properties  --whitelist '.*'  --num.streams 2

Consumer.properties

bootstrap.servers=!source_host_name_with_port!
group.id=consumer_replicator_group
client.id=mirror_maker_consumer
exclude.internal.topics=true

Producer.properties

bootstrap.servers=!destination_host_name_with_port!
acks=1
batch.size=100
client.id=mirror_maker_producer

Любые идеи, пожалуйста.

1 Ответ

0 голосов
/ 04 марта 2019

Это задокументировано на сайте Kafka, чтобы сначала создать темы по месту назначения.Если вы этого не сделаете, то вы получите разделы по умолчанию и количество репликаций в целевом кластере (которые часто не соответствуют исходной теме)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...