Изменение поведения Kafka 2.1 для удержаний и приложения Kafka Stream, что мы можем сделать, чтобы сохранение работало?

Question

Ниже приводится документация Kafka для 2.1.

https://kafka.apache.org/documentation/

Offset expiration semantics has slightly changed in this version. 
According to the new semantics, offsets of partitions in a group will 
not be removed while the group is subscribed to the corresponding 
topic and is still active (has active consumers). If group becomes 
empty all its offsets will be removed after default offset retention 
period (or the one set by broker) has passed (unless the group becomes 
active again). Offsets associated with standalone (simple) consumers, 
that do not use Kafka group management, will be removed after default 
offset retention period (or the one set by broker) has passed since 
their last commit.

Если я правильно понимаю, что до тех пор, пока подключены потребители Stream Thread, настройка хранения не будетдействует?

Я также начал наблюдать следующее исключение после перезапуска потокового приложения.

Поток потока - Восстановление задач потока не удалось.Удаление магазинов StreamTasks для воссоздания с нуля.org.apache.kafka.clients.consumer.OffsetOutOfRangeException: смещения вне диапазона без настроенной политики сброса для разделов: «но потоковое приложение использует свойство« StreamsConfig.consumerPrefix (ConsumerConfig.AUTO_OFFSET_RESET_CONFIG) »,« Earls »*

Я думаю, что это связано с удержанием, но я не могу сказать, что?

Answer 1

Если я правильно понимаю, что до тех пор, пока подключены потребители Stream Thread, настройки хранения не будут действовать?

Это относится только к теме __consumer_offset, то есть к Кафкевнутренняя тема.Для всех обычных / пользовательских тем время хранения применяется так же, как и во всех предыдущих версиях.Также обратите внимание, что это применимо только в том случае, если вы обновите своих брокеров до 2.1.

Для сообщения журнала Streams: вам не нужно беспокоиться об этом.Кажется, что ваше приложение было в автономном режиме в течение более длительного времени, и, следовательно, ваше локальное хранилище больше не находится в согласованном состоянии.Таким образом, он удаляется и воссоздается заново с темы журнала изменений.