Исключение - сериализатор и десериализатор Kafka Avro.Avro поддерживаемые типы - PullRequest
Новая
       50

Исключение - сериализатор и десериализатор Kafka Avro.Avro поддерживаемые типы

0 голосов
/ 11 декабря 2018

Я вижу следующую ошибку 

exception Unsupported Avro type. Supported types are null, Boolean, Integer, Long, Float, Double, String, byte[] and IndexedRecord

мои реквизиты производителя кафки 

Properties props = new Properties();
    props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, KafkaConstants.BOOTSTRAP_SERVERS);
    props.put(ProducerConfig.BATCH_SIZE_CONFIG, 1000);
    props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
    props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, KafkaAvroSerializer.class.getName());
    props.put("schema.registry.url", "http://localhost:8081");
    props.put("value.converter.schema.registry.url", "http://localhost:8081");
    props.put("producer.type", "sync");
    props.put(ProducerConfig.CLIENT_ID_CONFIG, KafkaConstants.CLIENT_ID);

    Producer<String, TweetInfoDto> producer = new KafkaProducer(props);

, а мои потребительские реквизиты кафки 

Properties props = new Properties();
    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, KafkaConstants.BOOTSTRAP_SERVERS);
    props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
    props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, KafkaAvroDeserializer.class.getName());
    props.put(ConsumerConfig.GROUP_ID_CONFIG, "twitterCrawler");
    props.put(ConsumerConfig.CLIENT_ID_CONFIG, KafkaConstants.CLIENT_ID);
    props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
    props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
    props.put("schema.registry.url", "http://localhost:8081");
    props.put("value.converter.schema.registry.url", "http://localhost:8081");

    Consumer<String, TweetInfoDto> consumer = new KafkaConsumer(props);

не уверен, что яЯ делаю неправильно.

Ответы [ 2 ]

0 голосов
/ 11 декабря 2018

В дополнение к тому, что упомянул cricket_007, можно рассмотреть возможность использования avro tools - Сериализация и десериализация с генерацией кода

0 голосов
/ 11 декабря 2018

TweetInfoDto не может быть простым Java-объектом, который вы определили сами.

В идеале он должен быть создан из схемы Avro с помощью, например, Avro Maven Plugin .

Пожалуйста, обратитесь к Учебнику реестра схемы для всех шагов, включая определение AVSC и генерацию Java-класса для него.

Пример учебного кода здесь

...