Kafka Connect: как я могу использовать AvroConverter без реестра схем?

Question

В наших рабочих распределенных реквизитах мы имеем:

value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=<dev-schema-url>

Мы заметили, что производительность плохая, когда мы используем реестр схемы.Могу ли я использовать AvroConverter без реестра схемы?Я пробовал https://github.com/farmdawgnation/registryless-avro-converter, но мы сталкиваемся с:

java.io.IOException Not a data file 

1. Связывается ли реестр схем с каждым сообщением, которое читает соединитель kafka?

2. Кэшируется ли схема?

3. Какие есть другие варианты использования AvroConverter без реестра схемы?

Answer 1

Мы заметили, что производительность плохая, когда мы используем реестр схемы.

Вы проанализировали, в чем заключается проблема производительности и в чем ее причина?Как, это сетевой трафик?Время ответа из реестра схемы?и т. д.

Многие, многие люди успешно используют реестр схем в производственной среде;производительность не является известной проблемой с реестром схемы.

Связывается ли реестр схем с каждым сообщением, которое читает соединитель kafka?

Нет

Кэшируется ли схема?

Да.

Какие есть другие варианты использования AvroConverter без реестра схемы?

Нет;AvroConverter требуется реестр схем.

Ссылки:

• https://docs.confluent.io/current/schema-registry/docs/index.html
• https://docs.confluent.io/current/schema-registry/docs/connect.html
• https://medium.com/@stephane.maarek/introduction-to-schemas-in-apache-kafka-with-the-confluent-schema-registry-3bf55e401321
• https://qconnewyork.com/system/files/presentation-slides/qcon_17_-_schemas_and_apis.pdf
• https://www.confluent.io/blog/schema-registry-kafka-stream-processing-yes-virginia-you-really-need-one/
• https://www.confluent.io/blog/how-i-learned-to-stop-worrying-and-love-the-schema-part-1/