что есть в зоокейпере датадир и как его убрать? - PullRequest
0 голосов
/ 23 января 2020

Я обнаружил, что мой зоопарк dataDir огромен. Я хотел бы понять,

  1. Что находится в dataDir?
  2. Как очистить? Автоматически ли он очищается после определенного периода?

Спасибо

1 Ответ

1 голос
/ 23 января 2020

Согласно Руководству администратора Zookeeper :

Каталог данных ZooKeeper содержит файлы, которые являются постоянной копией znodes, хранящихся в определенном обслуживающем ансамбле. Это файлы снимков и журналов транзакций. По мере внесения изменений в znodes эти изменения добавляются в журнал транзакций, иногда, когда журнал становится большим, снимок текущего состояния всех znodes будет записан в файловую систему. Этот снимок заменяет все предыдущие журналы.

Короче говоря, для вашего первого вопроса вы можете предположить, что dataDir используется для хранения состояния Zookeeper.

Что касается вашего второго вопроса, то здесь нет автоматов c уборка. Из do c:

Сервер ZooKeeper не удаляет старые снимки и файлы журналов, это ответственность оператора. Каждая обслуживающая среда отличается и поэтому требования к управлению этими файлами могут отличаться от установки к установке (например, для резервного копирования).

Утилита PurgeTxnLog реализует простую политику хранения, которую могут использовать администраторы. Документы API содержат сведения о соглашениях о вызовах (arguments, et c ...).

В следующем примере последние снимки счетчиков и соответствующие им журналы сохраняются, а остальные удаляются. Значение обычно должно быть больше 3 (хотя и не обязательно, это обеспечивает 3 резервных копии в маловероятном случае, если недавний журнал был поврежден). Это может быть выполнено как задание cron на компьютерах сервера ZooKeeper для ежедневной очистки журналов.

java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>

Если это экземпляр dev, я думаю, вы могли бы почти полностью очистить папку ( кроме некоторых файлов, таких как myid, если его там). Но для производственного экземпляра вы должны выполнить процедуру очистки, показанную выше.

...