CORRUPT_MESSAGE при попытке запустить исходный соединитель JDBC Kafka - PullRequest
Новая
       7

CORRUPT_MESSAGE при попытке запустить исходный соединитель JDBC Kafka

0 голосов
/ 30 июня 2018

Я пытаюсь запустить исходный соединитель JDBC Kafka со следующей конфигурацией: 

{
    "name": "source-mariadb-VIEW_GIORGOS", 
    "config": { "connector.class":"io.confluent.connect.jdbc.JdbcSourceConnector", 
                "tasks.max":"10", 
                "connection.url":"jdbc:mariadb://localhost:3306/kafka?user=myuser&password=mypass", 
                "table.whitelist":"VIEW_GIORGOS", 
                "mode":"timestamp", 
                "timestamp.column.name":"ROWVERSION", 
                "validate.non.null":"false", 
                "topic.prefix":"GIORGOS-", 
                "table.types":"TABLE,VIEW", 
                "poll.interval.ms":"1000",
                "consumer.group.id":"mytopicgroup1" 
    }
}

Но Kafka Connect сообщает о следующей ошибке: 

WARN [Producer clientId=producer-8] Got error produce response with correlation id 1504 on topic-partition GIORGOS-VW_GIORGOS, retrying (2147483149 attempts left). 
Error: CORRUPT_MESSAGE (org.apache.kafka.clients.producer.internals.Sender:526)

1 Ответ

0 голосов
/ 30 июня 2018

Я выяснил, что эта ошибка была связана с политикой хранения.

compact политика требует ключ и значение. Поскольку у представления нет ключа, сообщение повреждено. Изменение политики на delete устранило проблему для меня.

...