Kafka Source Connector - Как передать схему из String (json) - PullRequest
0 голосов
/ 15 января 2020

Я разработал собственный исходный соединитель для внешней службы REST. Я получаю JSON, преобразую их в org.apache.kafka.connect.data.Struct с определенной вручную схемой (SchemaBuilder) и оборачиваю все это в SourceRecord. Все это только для одного объекта, но их дюжина.

Моя новая цель - сделать этот соединитель универсальным и параметризовать схему. Идея состоит в том, чтобы получить схему в виде String (json) из конфигов или внешних файлов и передать ее SourceRecord, но она принимает только Schema объектов.

Есть ли какие-нибудь простые / хорошие способы преобразовать String / json в схему или даже напрямую передать схему String?

1 Ответ

0 голосов
/ 16 января 2020

Существует JSON в Avro конвертер , однако, если вы уже строите комбинацию Struct / Schema, вам не нужно ничего делать, так как классы конвертера в Kafka Connect могут обработать преобразование для вас

https://www.confluent.io/blog/kafka-connect-deep-dive-converters-serialization-explained/

...