Не могу найти схему Avro в divolte и kafka docker - PullRequest
Новая
       107

Не могу найти схему Avro в divolte и kafka docker

0 голосов
/ 19 февраля 2020

У меня есть 3 докера kafka, divolt и streamsets (https://github.com/divolte/docker-divolte), запущенных при компоновке. Я хочу конвертировать сообщения topi c в файлы avro. Я создал конвейер в streamset и вставил схему avro, но получил ошибку: 

com.streamsets.pipeline.api.base.OnRecordErrorException: KAFKA_37 - Cannot parse record from message 'divolte::3::0': java.io.IOException: Invalid int encoding
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.createRecord(MultiKafkaSource.java:192)
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.sendBatch(MultiKafkaSource.java:158)
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.call(MultiKafkaSource.java:135)
        at com.streamsets.pipeline.stage.origin.multikafka.MultiKafkaSource$MultiTopicCallable.call(MultiKafkaSource.java:79)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: Invalid int encoding

Я заметил, что проблема в неверной схеме avro. Не могли бы вы сказать, где я могу найти правильную схему Avro для этого? Я не могу найти его в докерах и github.

1 Ответ

0 голосов
/ 20 февраля 2020

Похоже, что это может быть в репозитории Divolte GitHub, на https://github.com/divolte/divolte-schema/blob/master/src/main/resources/DefaultEventRecord.avsc

...