Как использовать пользовательскую схему avro с докернизированным соединительным каналом? - PullRequest
Новая
       44

Как использовать пользовательскую схему avro с докернизированным соединительным каналом?

1 голос
/ 17 апреля 2019

Я пытаюсь сгенерировать тестовые данные из пользовательских схем avro с использованием dockerized connect-datagen.

Вот пример на Github: https://github.com/damc-dev/kafka-docker-datagen

Я сопоставил каталог с подключениемКонтейнер и настроен для использования пользовательской схемы на основе следующих инструкций: https://github.com/confluentinc/kafka-connect-datagen/blob/master/README.md#define-a-new-schema-specification

Я создаю тему и создаю соединитель, но он не генерирует данные по теме и сообщение об ошибке в журналах подключений.это: 

connect            | [2019-04-17 02:19:38,317] ERROR WorkerSourceTask{id=datagen-impressions-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask)
connect            | java.lang.NullPointerException
connect            |    at org.apache.avro.Schema.parse(Schema.java:1225)
connect            |    at org.apache.avro.Schema$Parser.parse(Schema.java:1032)
connect            |    at org.apache.avro.Schema$Parser.parse(Schema.java:1004)
connect            |    at io.confluent.avro.random.generator.Generator.<init>(Generator.java:218)
connect            |    at io.confluent.kafka.connect.datagen.DatagenTask.start(DatagenTask.java:120)
connect            |    at org.apache.kafka.connect.runtime.WorkerSourceTask.execute(WorkerSourceTask.java:199)
connect            |    at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
connect            |    at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)
connect            |    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
connect            |    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
connect            |    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
connect            |    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
connect            |    at java.lang.Thread.run(Thread.java:748)
connect            | [2019-04-17 02:19:38,319] ERROR WorkerSourceTask{id=datagen-impressions-0} Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask)
...