Понимание контрольно-пропускного пункта Кафка

Question

Я пытаюсь понять идею, лежащую в основе контрольной точки Kafka Stream. Является ли управление потребителями только офсетной информацией? Или это еще не все. Любые ссылки, поясняющие детали, были бы полезны.

Answer 1

Контрольная точка в Kafka Streams используется для хранения смещения топологии изменений c хранилища состояний, поэтому, когда приложение перезапускается и происходит восстановление состояния, restore consumer будет пытаться продолжить использование этого смещения, хранящегося в файле контрольных точек, если смещение остается в силе, в противном случае процесс восстановления удалит старое состояние и начнет восстановление, использовав с начала списка изменений topi c.

Я не могу найти ничего о контрольной точке в документе Kafka Streams, добавлено с 1.1.0 .

Answer 2

В официальной документации Kafka нет такого официального термина, кроме "фиксации смещений", будь то в Zookeeper (<0,9) или в самом Kafka (> 0,9)

Непонятно, где вы слышали этот термин , но Apache Spark и Flink, например, предлагают контрольную точку для своих потоковых операций (включая Kafka), но это внешний механизм для их библиотек Kafka