Kafka Streams - groupByKey возвращает неожиданный результат

Question

У меня есть тема Кафки t1, которая содержит 100 сообщений. После операции flatMapValues ​​() результат записывается во второй раздел t2. Когда я запускаю следующее:

int count = 0;
t2.groupByKey().count().toStream().foreach((key, value) -> System.out.println(++count));

Окончательное значение счетчика равно 100, что и ожидалось.

Однако, когда я применяю ту же логику к теме с 500 сообщениями (flatMapValues ​​() + запись в другую тему + группировка по ключу), конечное значение счетчика немного больше, чем 500. Разрыв увеличивается с темой с сообщениями 10K.

В чем может быть проблема?

Answer 1

Ваша проблема должна быть решена в случае появления дубликатов из-за хотя бы одного внедрения. Попробуйте установить конфигурацию ровно один раз, и я думаю, что это решит вашу проблему. Это гарантирует, что каждая ваша запись будет обработана ровно один раз.