Настройка Spring Kafka для использования DeadLetterPublishingRecoverer - PullRequest
Новая
       21

Настройка Spring Kafka для использования DeadLetterPublishingRecoverer

0 голосов
/ 04 марта 2019

Я использую Spring Boot 2.1.3 и пытаюсь настроить Spring SeekToCurrentErrorHandler с DeadLetterPublishingRecoverer для отправки записей об ошибках в другую тему.Новая очередь DLT создана и вставлена ​​запись, но тело сообщения пусто.Я ожидал, что тело сообщения будет заполнено исходным телом JSON для последующего анализа.

Вот конфигурация, которая у меня есть до сих пор.Есть идеи, где я иду не так?Не уверен, что это связано с использованием kafkaTemplate<Object, Object>, где в качестве источника сообщений используется kafkaTemplate<String, Message>. 

@Configuration
@EnableKafka

public class ListenerConfig {

    @Value("${kafka.bootstrap-servers}")
    private String bootstrapServers;  

    @Autowired
    private KafkaTemplate<Object, Object> kafkaTemplate;

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> props = new HashMap<>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, ErrorHandlingDeserializer2.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, ErrorHandlingDeserializer2.class);
        props.put(ErrorHandlingDeserializer2.KEY_DESERIALIZER_CLASS, JsonDeserializer.class);
        props.put(ErrorHandlingDeserializer2.VALUE_DESERIALIZER_CLASS, JsonDeserializer.class.getName());
        props.put(JsonDeserializer.KEY_DEFAULT_TYPE, "java.lang.String");
        props.put(JsonDeserializer.VALUE_DEFAULT_TYPE, "com.test.kafka.Message");
        props.put(JsonDeserializer.TRUSTED_PACKAGES, "com.test.kafka");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "json");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        return props;
    }

    @Bean
    public ConsumerFactory<String, Message> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(
        consumerConfigs());   
    }

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, Message> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, Message> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());  
        factory.setErrorHandler(new SeekToCurrentErrorHandler(new DeadLetterPublishingRecoverer(kafkaTemplate), 3));
        return factory;
    }

    @KafkaListener(topics = "test")
    public void receive(@Payload Message data,
                    @Headers MessageHeaders headers) {
        LOG.info("received data='{}'", data);

        System.out.println(data.getMessage());

        headers.keySet().forEach(key -> {
           LOG.info("{}: {}", key, headers.get(key));
        });
    }

1 Ответ

0 голосов
/ 04 марта 2019

DeadLetterPublishingRecoverer просто публикует входящее ConsumerRecord содержимое.

Когда ErrorHandlingDeserializer2 обнаруживает исключение десериализации, в ConsumerRecord отсутствует поле value() (поскольку оно не можетбыть десериализованным).

Вместо этого ошибка помещается в один из двух заголовков: ErrorHandlingDeserializer2.VALUE_DESERIALIZER_EXCEPTION_HEADER или ErrorHandlingDeserializer2.KEY_DESERIALIZER_EXCEPTION_HEADER.

Подробные сведения можно получить с помощью 

Header header = record.headers().lastHeader(headerName);
DeserializationException ex = (DeserializationException) new ObjectInputStream(
    new ByteArrayInputStream(header.value())).readObject();
* 1016.* с исходной полезной нагрузкой в ​​ex.getData().

Мы, вероятно, должны улучшить программу восстановления, чтобы она делала это, когда обнаруживает, что такой заголовок присутствует, а value() равен null.

Я открыл новый выпуск функции .

...