Потребитель консоли Kafka для чтения авро сообщений в HDP 3 - PullRequest
Новая
       72

Потребитель консоли Kafka для чтения авро сообщений в HDP 3

0 голосов
/ 02 апреля 2020

Попытка использовать сообщения kafka Avro от потребителя консоли и не совсем уверенный способ десериализации сообщений. 

sh /usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server localhost:6667 --topic test --consumer.config /home/user/kafka.consumer.properties --from-beginning --value-deserializer ByteArrayDeserializer

Схема Avro в реестре схем для тестовой топи c: 

{
 "type": "record",
 "namespace": "test",
 "name": "TestRecord",
 "fields": [
  {
   "name": "Name",
   "type": "string",
   "default": "null"
  },
  {
   "name": "Age",
   "type": "int",
   "default": -1
  }
 ]
}

Использование версии HDP 3.1 и Kafka-clients-2.0.0.3.1.0.0-78

Может ли кто-нибудь помочь мне, какой десериализатор необходим для чтения сообщений Avro из консоли.

1 Ответ

0 голосов
/ 02 апреля 2020

Использование kafka-avro-console-consumer

например 

sh /usr/hdp/current/kafka-broker/bin/kafka-avro-console-consumer.sh \
--bootstrap-server localhost:6667 \
--topic test \
--from-beginning \
--property schema.registry.url=http://localhost:8081
...