где кафка хранит метаданные на зоокейпере?(какой путь?)

Question

у нас есть кластер ambari с 3 серверами zookeeper и 3 машинами kafka

версия hadoop (HDP - 2.6.4)

где kafka хранит метаданные на zookeeper?(какой путь?)

Я не уверен, но может быть хранилище данных здесь?

 ls -ltr /data/var/hadoop/zookeeper/version-2
total 5859168
-rw-r--r-- 1 zookeeper hadoop 199306787 Jan 27 00:02 snapshot.4a00023317
-rw-r--r-- 1 zookeeper hadoop 199274273 Jan 27 00:03 snapshot.4a0002332b
-rw-r--r-- 1 zookeeper hadoop 199278370 Jan 27 00:05 snapshot.4a00023349
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:01 snapshot.4a0002ade3
-rw-r--r-- 1 zookeeper hadoop 193934228 Jan 29 00:03 snapshot.4a0002adf6
-rw-r--r-- 1 zookeeper hadoop 188207547 Jan 31 00:00 snapshot.4a00033393
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 17 15:08 log.4b0001e57a
-rw-r--r-- 1 zookeeper hadoop 189085214 Feb 17 15:08 snapshot.4b00046dc8
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 19 20:56 log.4b00046dca
-rw-r--r-- 1 zookeeper hadoop 190336796 Feb 19 20:56 snapshot.4b0005659b
-rw-r--r-- 1 zookeeper hadoop  67108880 Feb 22 01:30 log.4b0005659d
-rw-r--r-- 1 zookeeper hadoop 190348010 Feb 22 01:30 snapshot.4b000643

Answer 1

Это зависит от того, какие метаданные!

По умолчанию Кафка использует несколько путей в zookeeper:

• /brokers: содержит живых посредников, а также конфигурацию тем, назначенияи текущие ISR
• /controller: этот ZNode принадлежит текущему контроллеру в кластере Kafka
• /admin: содержит запросы на удаление темы

• /config: содержит переопределенные конфиги для брокеров, квоты

• И этот список можно продолжить ...

В вики есть страница о ZKструктуры данных, но они устарели и пропускают много записей: https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper

Еще одна вещь, на которую стоит обратить внимание, это то, что по умолчанию Kafka создаст все эти пути в /, но вы можете заставить Kafka использовать «chroot» сzookeeper.connect.Например, если вы установите его на localhost:2181/some_path, все пути будут в /some_path: /some_path/brokers, /some_path/controller и т. Д.

Наконец, Zookeeper сохраняет все эти данные в log файлах на диске.Путь указывается настройкой dataDir в zookeeper.properties.По умолчанию с Kafka это /tmp/zookeeper.