Где Кафка хранит смещения внутренних тем? - PullRequest
Новая
       20

Где Кафка хранит смещения внутренних тем?

0 голосов
/ 07 июня 2019

__ consumer_offsets хранит смещения всех тем kafka, кроме внутренних тем, таких как темы * -changelog в случае потоков. Где хранятся эти данные?

1 Ответ

1 голос
/ 09 июня 2019

Термин «внутренняя тема» в Кафке имеет два разных значения:

  1. Брокеры: внутренняя тема - это тема, используемая кластером (например, __consumer_offsets). Клиент не может читать / писать из / в эту тему.
  2. Kafka Streams: темы, которые Kafka Streams создает автоматически, также называются внутренними темами.

Однако те темы -changelog и -repartition, которые являются «внутренними» темами с точки зрения Kafka Streams, являются обычными темами с точки зрения брокера. Следовательно, смещения для обоих сохраняются в __consumer_offsets, как и для любой другой темы.

Обратите внимание, что Kafka Streams будет фиксировать смещения только для тем -repartition. Для тем -changelog смещения не фиксируются (Kafka Streams все же отслеживает смещения на стороне клиента и записывает смещения -changelog в локальный файл .checkpoint).

...