Войти
Запомнить
Регистрация
PullRequest
Лента
Топ
Теги
Новая
Новая
Dương Lê
 
20 марта 2020
 
68
Как реализовать Schema Registry Kafka с помощью Producer is Service API (например: NodeJs)
0
голосов
Dương Lê
/
20 марта 2020
У меня вопрос.
Вопрос такой: В архитектуре Kafka + Schema Registry (REST API) + Producer / Consumer. Как работает Producer. Подробно как, первая схема будет сохранена => прочитана от производителя => сериализует данные => отправит в реестр схемы (с REST API), данные отправят в topi c Kafka. Следовательно, каждый раз при отправке данных производитель должен прочитать схему (может сохранить .avs c) => сериализировать данные => отправить в реестр схем (с REST API) ... Тогда схема изменения действия будет происходить только в производителе. ? Не изменить из реестра схемы (с REST API - например: использовать Rest API, пользовательский интерфейс ...).
Идея 2:
Схема будет определяться в производителе, но каждый раз, когда производитель отправляет данные, которые получат (вызов API в Schema Registry) последнюю версию для схемы. И мы изменим схему, создадим новую версию, используя Rest API или пользовательский интерфейс (пример
https://schema-registry-ui.demo.lenses.io/
). После этого производитель / потребитель должен получить последнюю версию для сериализации / десериализации.
Идея 1, 2. Какая из них верна? Описание идеи правильное.
Теперь я хочу, чтобы производитель сборки с сервисом (Nodejs API) сериализовал и отправил Avro в Kafka (может более 1 млн. Msg / se c), после чего производитель / Потребитель должен получить последнюю версию для сериализации / десериализации. Я вижу, что это очень риск и плохое решение. Это перегрузка для службы Schema Registry. Мне нужно решение для этого. Я не понимаю схему кеша, как работает производитель / потребитель .... Вы можете мне помочь? С нетерпением ждем от вас в ближайшее время. Спасибо за просмотр.
node.js
кафка-производитель-апите
сливающийся-схему-реестр
Пожалуйста,
войдите
или
зарегистрируйтесь
чтобы ответить на этот вопрос.
Ответы [
0
]
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
Похожие темы
KafkaProducer всегда выбирает localhost: 8081 для реестра схемы в Java API
КАФКА: расщепление и повторная попытка (осталось 1 попытка). Ошибка: MESSAGE_TOO_LARGE
Ошибка подтверждения транзакции Kafka commitTransaction
Kafka брокеры с полностью написанными хранилищами
Пример весенней сделки с jpa и kafka?
Как отправить sh сообщение второму кластеру kafka topi c, если первый кластер вышел из строя с помощью java
Исключение тайм-аута сообщения асинхронного продюсера Kafka
SpringBoot, Kafka: java .lang.NoSuchMethodError: org. apache .kafka.clients.producer.Producer.close (Ljava / время / продолжительность;) V
тестирование Springboog Kafka @sendTo с SpringBoot
Как я могу мгновенно получить результат моего произведенного события в kafka и kafka-streams?
...