Зеркальное отображение тем кафки с индивидуальной настройкой в ​​качестве отдельного приложения

Question

Я хочу отразить некоторые темы от одного брокера к другому. Просто часть всех тем. Для этого существует MirrorMaker инструмент. Но я также хочу изменить названия тем назначения. Кроме того, Пользовательский обработчик сообщений уже делает это. Тем не менее, это не соответствует моим потребностям.

Для меня есть несколько требований:

1. зеркальные темы с возможностью предоставления переопределений для каждой целевой темы
2. обнаружение новых исходных тем на лету
3. Запустите его как отдельное приложение (например, Java, Spring Boot) вместо CLI

У кого-нибудь есть идеи хотя бы для одного из них?

Answer 1

Насколько я знаю, не существует никакого инструмента, который бы делал все, что вы упоминаете. Confluent Replicator, вероятно, обладает всеми этими функциями, но вам придется заплатить за лицензию Enterprise. Подробнее здесь:

https://www.confluent.io/connector/confluent-kafka-replicator/

Моя рекомендация, если вы не хотите платить за лицензию Confluent, состоит в том, чтобы создать собственное приложение, которое потребляет и производит информацию Kafka. У вас будет полный контроль, вы можете написать его на Java, вы сможете реализовать любую логику, какую захотите (автоматически определять новые темы, динамически менять имена в темах назначения и т. Д.), И вы можете развернуть ее как обычное приложение JVM в любом способ подходит вам больше всего (обычный JVM, AWS EC2, приложение Docker / Kubernetes и т. д.)