Kafka Mirror Maker не может воспроизвести тему __consumer_offset - PullRequest
Новая
       69

Kafka Mirror Maker не может воспроизвести тему __consumer_offset

0 голосов
/ 24 октября 2018

Я пытаюсь использовать mirror maker для репликации темы __consumre_offsets вместе с другими темами.

Выдает ошибку, как указано ниже.

[2018-10-24 16: 16: 03,802] ОШИБКА Ошибка при отправке сообщения в тему __consumer_offsets с ключом: 16 байт, значением: 445 байт с ошибкой: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.InvalidTopicException: запрос попытался выполнить операцию с недопустимой темой.[2018-10-24 16: 16: 03,828] ОШИБКА Ошибка при отправке сообщения в тему __consumer_offsets с ключом: 29 байтов, значение: 754 байта с ошибкой: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.InvalidTopicException: запрос попытался выполнить операцию с недопустимой темой.

Есть ли способ решить эту проблему?

В одном из слиянияпрезентация в SlideShare на слайде 21, в которой упоминается репликация смещенной темы в нескольких центрах обработки данных.Может кто-нибудь сказать мне возможный способ добиться того же?

Или есть какой-то другой лучший способ для политики резервного копирования и восстановления для Kafka.

Ответы [ 2 ]

0 голосов
/ 26 июля 2019

@ amdelamar @Abhisek Verma Это работает для тебя.Как предложено выше, я попробовал те же настройки в моих конфигурационных файлах потребителя и производителя соответственно, и он все еще не работает с той же ошибкой.Он начинает реплицировать темы и через определенное время перестает работать.

consumer.config 

bootstrap.servers=https://kafka:9093
**exclude.internal.topics=false** 
client.id=mirror_maker_consumer1 
group.id=mirror_maker_consumer1
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="****" password="********";
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

provider.config 

bootstrap.servers=https://kafka-*****:9093
acks=1
**client.id=__admin_client**
batch.size=100
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="**************" password="****";
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS

Ошибка при отправке сообщения в тему __consumer_offsets с ключом: 62 байта, значение: 28 байтов с ошибкой: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)

0 голосов
/ 13 декабря 2018

Добавьте это в свой consumer.config : 

exclude.internal.topics=false

И добавьте это в свой provider.config : 

client.id=__admin_client

Причина в том, что производители не могут писать на внутренние темы, если вы не объявите client.id=__admin_client, который используется AdminClient.scala.Найдено здесь: https://issues.apache.org/jira/browse/KAFKA-6524

...