Kafka File Sink Connector - вывод JSON - PullRequest
Новая
       10

Kafka File Sink Connector - вывод JSON

0 голосов
/ 20 июня 2019

у кого есть проблемы с выходным форматом коннектора File Sink?

Интересно, почему я получаю такой формат 

{op=u, before={withTax=1, unit=pc(s), deleted=0, updated_at=null, price=420000.0, name=Test 123, created_at=null, id=54, useTaxIncludedFormula=0}, after={withTax=1, unit=pc(s), deleted=0, updated_at=null, price=333.0, name=Test 123, created_at=null, id=54, useTaxIncludedFormula=0}, source={ts_sec=1561038448, query=null, thread=29638, server_id=100596, version=0.9.5.Final, file=mysql-bin.000012, connector=mysql, pos=1044011265, name=crm-kafka-connector, gtid=null, row=0, snapshot=false, db=gxapp_customer_db, table=registrationItemsTmp}, ts_ms=1561063703793}```

но когда я просматриваю его с помощью kafka-console-consumer.sh, я получаю действительный JSON 

{"before":{"id":54,"name":"Test 123","price":420000.0,"unit":"pc(s)","withTax":1,"created_at":null,"updated_at":null,"useTaxIncludedFormula":0,"deleted":0},"after":{"id":54,"name":"Test 123","price":333.0,"unit":"pc(s)","withTax":1,"created_at":null,"updated_at":null,"useTaxIncludedFormula":0,"deleted":0},"source":{"version":"0.9.5.Final","connector":"mysql","name":"crm-kafka-connector","server_id":100596,"ts_sec":1561038448,"gtid":null,"file":"mysql-bin.000012","pos":1044011265,"row":0,"snapshot":false,"thread":29638,"db":"gxapp_customer_db","table":"registrationItemsTmp","query":null},"op":"u","ts_ms":1561063703793}```

У меня есть все настройки для использования JsonConverter

1 Ответ

0 голосов
/ 20 июня 2019

FileStreamSinkConnector запишет данные на основе полученных значений. JSONConverter просто сообщает Kafka Connect, как десериализовать полученные сообщения.

Если у вас есть JSON по теме, которую вы хотите просто сохранить в файл, то в вашем коннекторе приемника используйте 

"value.converter":"org.apache.kafka.connect.storage.StringConverter"

Эта ссылка может предоставить более полезную информацию: https://rmoff.net/2019/05/08/when-a-kafka-connect-converter-is-not-a-converter/

...