Как справиться с эволюцией схемы Кафки

Question

Я новичок в kafka. Вот вопрос, который у меня возникает по поводу постоянно меняющейся схемы kafka.

Как мы можем обрабатывать изменения схемы на стороне потребителя kafka?

Если мы изменим полезную нагрузку структура на стороне издателя kafka, как я могу убедиться, что ничто не сломается на стороне потребителя kafka?

Мне было бы интересно узнать общеотраслевые практики для обработки этого сценария.

Я не буду использовать реестр схем Confluent для avro. Есть ли другие проверенные варианты?

Answer 1

Реестр схем - это решение для централизованного управления схемами и проверки совместимости по мере развития схем. Конфигурирование реестра схем для производителей и потребителей kafka

kafkaProducerProps.put(KafkaAvroSerializerConfig.SCHEMA_REGISTRY_URL_CONFIG,"http://localhost:8081");

kafkaConsumerProps.put(KafkaAvroDeserializerConfig.SPECIFIC_AVRO_READER_CONFIG, "true");

//Schema registry location.
kafkaConsumerProps.put(KafkaAvroDeserializerConfig.SCHEMA_REGISTRY_URL_CONFIG, "http://localhost:8081");

Выполнить Реестр схем на 8081

См. Ниже URL-адрес для примера кода

https://dzone.com/articles/kafka-avro-serialization-and-the-schema-registry