Используя слитный cp-schema-registry, должен ли он общаться с той же Kafka, которую вы используете для производителей / потребителей?

Question

Кафка уже запущена в производство. И, к сожалению, это более старая версия, 0.10.2. Я хочу начать использовать cp-schema-registry из общедоступной версии Confluent Platform. Это означало бы установку более старого образа реестра схемы 3.2.2 для совместимости с нашей старой kafka.

Из того, что я прочитал в документации, кажется, что реестр Confluent Schema Registry использует Kafka в качестве бэкэнда для хранения его. государство. Но клиенты, которые производят / читают темы из Kafka, общаются с Schema Registry независимо от Kafka.

Поэтому мне интересно, будет ли проще управлять в производственной среде, запустив Schema Registry / Kafka / Zookeeper в одном контейнеревсе вместе, независимо от нашего основного кластера Kafka. Тогда я могу использовать последнюю версию всего. Другое преимущество состоит в том, что поддержание этого нового сервисного компонента не может привести к неожиданным негативным последствиям для существующего кластера Kafka.

Я считаю, что документация не очень хорошо объясняет преимущества и недостатки каждой стратегии развертывания. находятся. Может ли кто-нибудь предложить руководство о том, как он развернул реестр схем в среде с существующей Kafka? В чем основное преимущество подключения реестра схемы к основному кластеру Kafka?

Answer 1

Новые клиенты Kafka имеют обратную совместимость с Kafka 0.10, поэтому нет причин, по которым вы не могли бы использовать более новый реестр схем, чем 3.2

В документах

СхемаРеестр, включенный в Confluent Platform 3.2 и более поздние версии, совместим с любым брокером Kafka, включенным в Confluent Platform 3.0 и более поздними версиями

---

---

Я бы, конечно, не стал помещать все водин контейнер ... Это не то, как они предназначены для использования, и нет причин, по которым вам понадобится другой сервер Zookeeper

Наличие вторичного кластера Kafka только для хранения одной темы схем кажется ненужным, когда вы можете сохранитьта же информация о вашем существующем кластере

клиенты, которые производят / читают темы Kafka, общаются с Schema Registry независимо от Kafka

Клиенты общаются с обоими. Только схемы Avro отправляются по HTTP, прежде чем ваш обычный клиентский код достигнет этой темы. Нет, схемы и данные клиента не обязательно должны быть частью одного и того же кластера Kafka

Каждый раз, когда кто-либо развертывает реестр схем, он добавляется в «существующий Kafka», только разница в том, что у вас может быть больше данных в нем