Как проверить, что входящие данные от коннектора jdbcsource совпадают со схемой, уже установленной в реестре схем в kafka? - PullRequest
Новая
       100

Как проверить, что входящие данные от коннектора jdbcsource совпадают со схемой, уже установленной в реестре схем в kafka?

0 голосов
/ 10 июля 2020

Я использую исходный коннектор jdb c, чтобы получить данные из mysql и поместить в kafka topi c. В этом, как мы можем использовать проверку схемы во входящих данных. Это моя конфигурация 

{
"name": "test",
"config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "connection.url": "jdbc:mysql://localhost:3306/sample",
    "connection.user": "root",
    "connection.password": "root@123",
    "topic.prefix": "",
    "poll.interval.ms": 3600000,
    "table.whitelist": "test",
    "schemas.enable": "true",
    "mode": "bulk",
    "schema:registry.url":"http://localhost:8081/subjects/",

}

}

Это схема Avro 

{
  "fields": [
    {
      "name": "name",
      "type": "string"
    },
    {
      "name": "venue",
      "type": "string"
    },
    {
      "name": "age",
      "type": "int"
    },
    {
      "name": "sal",
      "type": "long"
    }
  ],
  "name": "TestClass",
  "namespace": "com.ns.vishnu.Kafka_avro.model",
  "type": "record"
}

Мне нужно получить данные из db и проверить схему в реестре, а затем только нужно поставить в топи c !!

кто нибудь знает как это сделать?

...