Как реализовать Schema Registry Kafka с помощью Producer is Service API (например: NodeJs) - PullRequest
0 голосов
/ 20 марта 2020

У меня вопрос.

Вопрос такой: В архитектуре Kafka + Schema Registry (REST API) + Producer / Consumer. Как работает Producer. Подробно как, первая схема будет сохранена => прочитана от производителя => сериализует данные => отправит в реестр схемы (с REST API), данные отправят в topi c Kafka. Следовательно, каждый раз при отправке данных производитель должен прочитать схему (может сохранить .avs c) => сериализировать данные => отправить в реестр схем (с REST API) ... Тогда схема изменения действия будет происходить только в производителе. ? Не изменить из реестра схемы (с REST API - например: использовать Rest API, пользовательский интерфейс ...). Идея 2: Схема будет определяться в производителе, но каждый раз, когда производитель отправляет данные, которые получат (вызов API в Schema Registry) последнюю версию для схемы. И мы изменим схему, создадим новую версию, используя Rest API или пользовательский интерфейс (пример https://schema-registry-ui.demo.lenses.io/). После этого производитель / потребитель должен получить последнюю версию для сериализации / десериализации. Идея 1, 2. Какая из них верна? Описание идеи правильное. Теперь я хочу, чтобы производитель сборки с сервисом (Nodejs API) сериализовал и отправил Avro в Kafka (может более 1 млн. Msg / se c), после чего производитель / Потребитель должен получить последнюю версию для сериализации / десериализации. Я вижу, что это очень риск и плохое решение. Это перегрузка для службы Schema Registry. Мне нужно решение для этого. Я не понимаю схему кеша, как работает производитель / потребитель .... Вы можете мне помочь? С нетерпением ждем от вас в ближайшее время. Спасибо за просмотр.

...