Как скопировать схему с Kafka mirror maker?

Question

Мы используем mirror maker для синхронизации по темам помещения и aws kafka.Как можно реплицировать тему с ее схемой, зарегистрированной в локальной среде, точно так же, как и в другом кластере (в данном случае, aws)?Как реплицируется схема avro с помощью mirror maker?

Answer 1

MirrorMaker копирует только байтовые массивы, а не схемы. И не заботится о формате данных

Начиная с версии Confluent 4.x или более поздней, это не должно иметь значения, поскольку ваш целевой реестр может искать GET /schemas/ids/(number) для того же идентификатора схемы, поскольку это конечная точка, которую десериализатор получает

В противном случае вы также можете отразить тему _schemas, как рекомендует Confluent при использовании Confluent Replicator

Если вам абсолютно необходимо копирование схемы «один к одному», вам необходимо реализовать интерфейс MessageHandler и передать его команде MirrorMaker, чтобы получить и опубликовать схему, аналогично внутренней логике, которую я добавил в этот плагин Kafka Connect (который вы можете использовать Connect вместо MirrorMaker). https://github.com/cricket007/schema-registry-transfer-smt