Как создать два шаблона kafka производителя в kafka с использованием Spring, который принимает разные типы данных. Один - JsonNode, а другой - Avro? - PullRequest
Новая
       29

Как создать два шаблона kafka производителя в kafka с использованием Spring, который принимает разные типы данных. Один - JsonNode, а другой - Avro?

0 голосов
/ 19 октября 2018

Я пытаюсь разработать два класса конфигурации производителя с разными типами сериализации (JSONNode, Avro), но во время выполнения я могу создать только один, другой не работает.

Первый класс: 

@Configuration
@EnableKafka
public class KafkaProducerConfig extends SomeClassConfig{
@Autowired
    private SomeClassProps someClassProps ;

@Bean
    public ProducerFactory<JsonNode, JsonNode> eventProducerFactory() throws UnknownHostException{
    return new DefaultKafkaProducerFactory<JsonNode, JsonNode>(producerConfigs(someClassProps ));
}

@Bean
public Map<String, Object> producerConfigs(SomeClassProps someClassProps ) throws UnknownHostException{
    Properties props = this.initProps(someClassProps );
    props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, ***.getBootstrapServers());      
    props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.connect.json.JsonSerializer");
    props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.connect.json.JsonSerializer");
    Map<String, Object> map = new HashMap<>();
    for (final String name: props.stringPropertyNames()) {
        map.put(name, props.getProperty(name));         
    }

    return map;
}

@Bean(name="eventProducerKafkaTemplate")
public KafkaTemplate<JsonNode,JsonNode> eventProducerKafkaTemplate() throws UnknownHostException{       
    return new KafkaTemplate<JsonNode,JsonNode>(eventProducerFactory());
}

}

Второй класс: 

@Configuration("avroKafkaProducerConfig")
@EnableKafka
public class AvroKafkaProducerConfig extends SomeClassConfig{

    //private static final org.slf4j.Logger LOG = LoggerFactory.getLogger(KafkaProducerConfig.class);
        @Autowired
private SomeClassProps someClassProps ;

    @Bean(name = KafkaStreamsDefaultConfiguration.DEFAULT_STREAMS_CONFIG_BEAN_NAME)
    public StreamsConfig kafkaStreamsConfig(SomeClassProps someClassProps ) throws UnknownHostException {
        Map<String, Object> props = producerConfigs(someClassProps );
        return new StreamsConfig(props);
    }

    @Bean
    public ProducerFactory<SpecificRecord, SpecificRecord> eventProducerFactory() throws UnknownHostException{
        return new DefaultKafkaProducerFactory<SpecificRecord, SpecificRecord>(producerConfigs(someClassProps ));
    }

    @Bean
    public Map<String, Object> producerConfigs(SomeClassProps someClassProps ) throws UnknownHostException{
        Properties props = this.initProps(someClassProps );
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, ***.getBootstrapServers());      
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, io.confluent.kafka.serializers.KafkaAvroSerializer.class);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,io.confluent.kafka.serializers.KafkaAvroSerializer.class);
        Map<String, Object> map = (Map) props;
        System.out.println("Avro"+map.values());

        return map;
    }

    @Bean(name="eventAvroProducerKafkaTemplate")
    public KafkaTemplate<SpecificRecord,SpecificRecord> eventProducerKafkaTemplate() throws UnknownHostException{       
        return new KafkaTemplate<SpecificRecord,SpecificRecord>(eventProducerFactory());
    }

}

, когда я пытаюсь использовать эти шаблоны kafka в моем классе контроллераон только инициализирует сериализатор Json, а не avro. 

THis is how I'm using these kafka templates in other class

@Autowired
    @Qualifier("eventProducerKafkaTemplate")
    private KafkaTemplate<JsonNode, JsonNode> eventProducerKafkaTemplate;

    @Autowired
     @Qualifier("eventAvroProducerKafkaTemplate")
    private KafkaTemplate<SpecificRecord,SpecificRecord> eventAvroProducerKafkaTemplate;


public ReturnTYpe methodName() {

eventProducerKafkaTemplate.send(****, ****, ****);
eventAvroProducerKafkaTemplate.send(****, ****, ****);
}

1 Ответ

0 голосов
/ 19 октября 2018

Вы должны дать 2 producerConfigs и 2 eventProducerFactory бинам разные имена методов (бинов).В противном случае одно переопределяет другое.

...