Как заставить Instaclustr Kafka Sink Connector работать с сериализованным значением Avro до postgres? - PullRequest
Новая
       21

Как заставить Instaclustr Kafka Sink Connector работать с сериализованным значением Avro до postgres?

0 голосов
/ 29 января 2020

У меня есть Kafka topi c с авросериализованным значением.

Я пытаюсь настроить соединитель приемника JDB C (postgres) для вывода этих сообщений в postgres Таблица.

Но, я получаю ниже ошибка. 

"org.apache.kafka.common.config.ConfigException: Invalid value io.confluent.connect.avro.AvroConverter for configuration value.converter: Class io.confluent.connect.avro.AvroConverter could not be found."

Мой Раковина. json is 

{"name": "postgres-sink",
  "config": {
    "connector.class":"io.confluent.connect.jdbc.JdbcSinkConnector",
    "tasks.max":"1",
    "topics": "<topic_name>",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "value.converter": "io.confluent.connect.avro.AvroConverter",
    "value.converter.schema.registry.url": "instaclustr_schema_registry_host:8085",
    "connection.url": "jdbc:postgresql://postgres:5432/postgres?currentSchema=local",
    "connection.user": "postgres",
    "connection.password": "postgres",
    "auto.create": "true",
    "auto.evolve":"true",
    "pk.mode":"none",
    "table.name.format": "<table_name>"
  }
}

Кроме того, я внес изменения в соединение -distributed.properties (bootstrap серверы).

Я выполняю команду - 

curl -X POST -H "Content-Type: application/json" --data @postgres-sink.json https://<instaclustr_schema_registry_host>:8083/connectors

1 Ответ

1 голос
/ 29 января 2020

io.confluent.connect.avro.AvroConverter не является частью Apache Kafka. Вы можете либо просто запустить Apache Kafka как часть Confluent Platform (которая поставляется вместе с конвертером и проще), либо вы можете загрузить его отдельно и установить его самостоятельно.

...