Слишком много UnknownProducerIdException в брокере kafka для внутренних тем kafka, созданных для приложения kafka streams - PullRequest
Новая
       13

Слишком много UnknownProducerIdException в брокере kafka для внутренних тем kafka, созданных для приложения kafka streams

0 голосов
/ 15 января 2019

Одно из потоковых приложений Kafka генерирует много ошибок Unknown Producer Id в брокерах Kafka, а также на стороне потребителя.

Настройки потока указаны ниже: 

final Properties streamsConfiguration = new Properties();
    streamsConfiguration.put(StreamsConfig.APPLICATION_ID_CONFIG, appName);
    streamsConfiguration.put(StreamsConfig.CLIENT_ID_CONFIG,appName + "-Client");
    streamsConfiguration.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, this.bootstrapServer);
    streamsConfiguration.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.Long().getClass().getName());
    streamsConfiguration.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
    streamsConfiguration.put(StreamsConfig.PROCESSING_GUARANTEE_CONFIG,StreamsConfig.EXACTLY_ONCE);
    streamsConfiguration.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, offset);
    streamsConfiguration.put(StreamsConfig.STATE_DIR_CONFIG,state_dir);
    streamsConfiguration.put(StreamsConfig.REPLICATION_FACTOR_CONFIG,defaultReplication);
    return streamsConfiguration;

Ошибка на стороне брокера: enter image description here

Ошибка на стороне потребителя:

enter image description here

Пользовательская конфигурация для внутреннего раздела перераспределения: prod.Prod-Job-Резюме-v0.4-KTABLE-АГРЕГАТ-STATE-STORE-0000000049-Передел enter image description here

В чем может быть причина этого?

1 Ответ

...