Чтение сообщений в Avro Buffer с помощью ConsumeKafka (NIFI) - PullRequest
Новая
       42

Чтение сообщений в Avro Buffer с помощью ConsumeKafka (NIFI)

0 голосов
/ 21 сентября 2018

Я новичок в NIFI (и у меня немного опыта с Kafka), и я пытаюсь использовать сообщения, которые генерирует производитель.Для этого я использую процессор ConsumeKafka в NIFI.

Сообщения приходят (я вижу их в очереди), но когда я проверяю очередь и пытаюсь просмотреть сообщения, я вижу только содержимое в шестнадцатеричном формате (например, в исходном формате Iможет видеть сообщение, которое говорит: «Для этого типа контента не зарегистрировано средство просмотра).

Сообщения, которые отправляет производитель, являются закодированным avro-буфером (я взял эту ссылку: https://blog.mimacom.com/apache-kafka-with-node-js/) Икогда я проверяю получателя с консоли, каждое сообщение имеет следующий формат: 

02018-09-21T08:37:44.587Z      @02018-09-21T08:37:44.587Z      @

Я прочитал, что процессор UpdateRecord может помочь изменить шестнадцатеричный код на обычный текст, но я не могу этого сделать.

Как мне настроить этот процессор UpdateRecord?

Chears

1 Ответ

0 голосов
/ 21 сентября 2018
  • Вместо ConsumeKafka лучше использовать ConsumeKafkaRecord процессор, соответствующий используемой вами версии Kafka, и настроить Record Reader с AvroReader и установить Record Writer на устройство записи вашегоchoice.
  • Как только это будет сделано, вы должны настроить службу контроллера AvroReader с реестром схемы.Вы можете использовать AvroSchemaRegistry, где вы бы указали схему для сообщений Avro, которые вы получаете в Kafka.

Быстрый просмотр этого руководства поможет вам достичь того, чего вы хотите: https://bryanbende.com/development/2017/06/20/apache-nifi-records-and-schema-registries

...