Как создать потребительскую библиотеку Kafka для нескольких тем

Question

У меня есть «N» количество тем Кафки, где мне нужно принимать сообщения из разных тем и основываясь на бизнес-логике. Мне нужно обработать / отфильтровать их и отправить их на служебную шину. Я не хочу создавать N конфигураций kafka для приема сообщений. Я просто хочу сделать это как библиотеку, где я могу просто вывести свойства для выбораи настроить потребителей. Так что я могу просто поместить бизнес-логику в свое приложение. Кто-нибудь уже делал подобные реализации раньше. Пожалуйста, дайте мне знать лучшие практики для этого подхода.

Отредактировано: Вот мой KafkaConsumerConfig выглядит так:

KafkaConsumerConfig.java

@Configuration
public class KafkaConsumerConfig {

    @Value("${spring.kafka.consumer.bootstrap-servers}")
    private String bootstrapServers;

    @Value("${spring.kafka.consumer.key-deserializer}")
    private String keyDeserializer;

    @Value("${spring.kafka.consumer.value-deserializer}")
    private String valueDeserializer;

    @Value("${spring.kafka.consumer.group-id}")
    private String groupIdConfig;

    @Value("${spring.kafka.consumer.auto-offset-reset}")
    private String autoOffsetResetConfig;

    @Value("${spring.kafka.consumer.client-id}")
    private String clientIdConfig;

    @Bean
    public KafkaReceiver receiver() {
        return new KafkaReceiver();
    }

    @Bean
    public ConsumerFactory<?, ?> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> properties = new HashMap<>();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, keyDeserializer);
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, valueDeserializer);
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, groupIdConfig);
        properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, autoOffsetResetConfig);
        return properties;
    }

}

Answer 1

Вы можете подписаться на любое количество тем с одним потребителем через

KafkaConsumer#subscribe(Collection<String> topics)