Не удалось проанализировать отметку времени - Elasticsearch Kafka JDB C Sink Connector - PullRequest
Новая
       68

Не удалось проанализировать отметку времени - Elasticsearch Kafka JDB C Sink Connector

0 голосов
/ 04 августа 2020

Я пытаюсь преобразовать поле из строкового типа в тип даты при записи данных из kafka topi c в elasticsearch.

пример сообщения в Kafka topi c

{
  "field1": "AAAA",
  "field2": "BBBB",
  "ZEIT": "2020-08-04T15:49:11.000Z",
  "field3": null
}

конфигурация коннектора: 

"connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
"value.converter":"org.apache.kafka.connect.json.JsonConverter",
"value.converter.schemas.enable": false,
"transforms": "TimestampConverter",
"transforms.TimestampConverter.type": 
"org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.TimestampConverter.field": "ZEIT",
"transforms.TimestampConverter.target.type": "Date", 
"transforms.TimestampConverter.format": "yyyy-MM-dd HH:mm:ss",
"type.name":"_doc"

Эта конфигурация не работает и возвращает следующую ошибку: 

Caused by: org.apache.kafka.connect.errors.DataException: Could not parse timestamp: value (2020-08-04T15:31:10.000Z) does not match pattern (yyyy-MM-dd HH:mm:ss)

Я также пробовал 

"transforms.TimestampConverter.format": "yyyy-MM-ddTHH:mm:ss.SSSZ",

, но получаю 

Caused by: org.apache.kafka.common.config.ConfigException: Invalid value java.lang.IllegalArgumentException: Illegal pattern character 'T' for configuration TimestampConverter requires a SimpleDateFormat-compatible pattern for string timestamps: yyyy-MM-ddTHH:mm:ss.SSSZ

сталкивался ли кто с подобной проблемой? есть предложения?

...