Недавно Azure выпустила функцию под названием Концентраторы событий Azure для Kafka , которая позволяет использовать концентраторы событий, как если бы это был кластер Kafka, с использованием тех же библиотек Kafka.Это позволило бы нам перейти с нашего текущего решения IaaS Kafka на решение PaaS со всеми преимуществами полностью управляемого решения и с минимальными изменениями в нашем базовом коде (по крайней мере, это обещание).
Однако, анализируя миграцию, нам трудно получить нашу инфраструктуру за пределами концентратора событий Azure.У нас есть сотни тем в Кафке, и мы знаем, что в будущем мы увеличим их до тысяч, но это не может быть легко уместно в центрах событий.
В Azure подход к понятию темы - это концентратор событий, и у вас также есть пространства имен, соответствующие кластеру Kafka.Фактически, каждое пространство имен имеет свое имя DNS, что делает его совершенно другой системой.Ограничения следующие: вы можете иметь до 10 концентраторов событий на пространство имен, до 100 пространств имен на подписку.То есть в переводе на кафкинский жаргон - до 1000 тем.Давайте предположим, что этого достаточно для наших целей, однако Мне понадобятся разные части моего приложения для подключения к различным кластерам (пространствам имен) Kafka для каждой из 10 тем, которые у меня есть, добавляя ненужную сложность ко всей истории .
Похоже, что в конце я меняю сложность управления инфраструктурой моего собственного кластера сложностью реструктуризации моего приложения, чтобы оно вписывалось в эти странные 10 тем на кластер.С Kafka я могу иметь 100 тем в одном кластере. С концентраторами событий мне нужно 10 кластеров по 10 тем в каждой, что усложняет понимание того, к какому кластеру должны подключаться ваши потребители и производители. Это полностью меняет архитектуру вашего приложения (делая его намного более сложным).).
Я посмотрел в Интернете ответ на этот вопрос, но не повезло, все, кажется, видят много преимуществ при использовании концентраторов событий, поэтому я начинаю думать, что, возможно, что-то упустил.Какой эффективный способ вписать множество тем в это ограничение по 10 темам без значительного изменения моей архитектуры?