нет типа ERROR в Confluent 5.4.0 ElasticSearch Sink Connector - PullRequest
Новая
       7

нет типа ERROR в Confluent 5.4.0 ElasticSearch Sink Connector

1 голос
/ 02 апреля 2020

Я ввел данные из коннектора источника в твиттере Kafka topi c "demo-twitter-status"

Я хочу потопить это в ElasticSearch. Разъем, который я сделал, выглядит следующим образом: 

curl -k -X POST  http://xxxxxxxxxx:8083/connectors -H "Content-Type: application/json" --data '{
  "name":"sink-elasticsearch-connector1",
  "config":{
    "tasks.max": "2",
    "topics":"demo-twitter-status",
    "key.converter":"org.apache.kafka.connect.json.JsonConverter",
    "key.converter.schema.enable":"true",
    "value.converter":"org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schema.enable":"true",
    "connection.url":"http://xxxxxxxx:9200",
    "type.name":"kafka-connect",
    "key.ignore":"true"
    }
}'

это дает ошибку как: 

{
  "error_code": 400,
  "message": "Connector config {type.name=kafka-connect, key.converter.schema.enable=true, tasks.max=2, topics=demo-twitter-status,
   value.converter.schema.enable=true, name=sink-elasticsearch-connector1, value.converter=org.apache.kafka.connect.json.JsonConverter,
   connection.url=http://===========:9200, key.ignore=true, key.converter=org.apache.kafka.connect.json.JsonConverter}
   contains no connector type"
}

Я также использовал "type.name":"kafkaconnect" and "type.name":"_doc", но все равно появляется та же ошибка.

Может кто-нибудь помочь мне исправить мой разъем. Заранее спасибо !!!!

Версии следующие:

Confluent 5.4.0

ElasticSearch 7.6

PS: Слитные документы говорит, что 7.x поддерживается для слияния 5.4.0

1 Ответ

2 голосов
/ 02 апреля 2020

Причина отображается в вашей ошибке: 

Connector config …   contains no connector type

Вам необходимо указать connector.class , чтобы Kafka Connect знал, как использовать соединитель приемника Elasticsearch.

Попробуйте 

curl -k -X POST  http://xxxxxxxxxx:8083/connectors -H "Content-Type: application/json" --data '{
  "name":"sink-elasticsearch-connector1",
  "config":{
    "connector.class":  "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "tasks.max": "2",
    "topics":"demo-twitter-status",
    "key.converter":"org.apache.kafka.connect.json.JsonConverter",
    "key.converter.schema.enable":"true",
    "value.converter":"org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schema.enable":"true",
    "connection.url":"http://xxxxxxxx:9200",
    "type.name":"kafka-connect",
    "key.ignore":"true"
    }
}'
...