Как отправить данные нескольким производителям Kafka за один раз

Question

Я ищу помощь производителя Kafka для нескольких кластеров параллельно. У меня есть две среды для отправки данных (cert и dev), каждый раз, когда я запускаю производителя для отправки данных на cert и dev по отдельности (один topi c), могу ли я отправлять данные в оба кластера вместе?

Answer 1

Привязка вашего приложения (производителей) к определенной топологии среды (cert / dev) не кажется лучшим подходом. Невозможно производить из одного и того же экземпляра производителя в два кластера - тогда вам придется иметь два экземпляра производителя и надеяться, что оба будут вести себя точно так же при производстве. Любые проблемы (например, сбой в сети), которые приводят к отказу одного, а не другого, означают, что вы в конечном итоге столкнетесь с расхождением в двух ваших средах.

Вместо этого используйте что-то вроде Confluent Replicator или MirrorMaker 2 для потоковой передачи записей из одного кластера в другой. Таким образом, вы можете создать свое приложение для создания записей-производителей в целевом кластере и отделить от него дополнительные среды / кластеры по желанию.