Ручка кафки брокера на полное дисковое пространство

Question

Мы установили кворум зоокейпера (3 узла) и 3 брокера кафки. Производители не могут отправить запись на кафку --- потеря данных. Во время расследования мы (все еще можем) использовать SSH для этого посредника и обнаружили, что диск посредника заполнен. Мы удалили журналы тем, чтобы очистить место на диске и функцию посредника, как и ожидалось.

Учитывая, что мы все еще можем использовать SSH для этого брокера, (мы не можем видеть журналы прямо сейчас), но я предполагаю, что zookeeper может услышать сердцебиение этого брокера и не учел его? Как лучше всего обрабатывать такие события?

Answer 1

Лучше всего избегать этого!

Вам необходимо отслеживать использование диском ваших брокеров и заранее получать оповещения на случай, если доступное дисковое пространство заканчивается.

Вам необходимо установить ограничения хранения для тем , чтобы обеспечить регулярное удаление данных.

Вы также можете использовать Политики тем (см. create.topic.policy.class.name), чтобы контролировать, сколько времени / размера хранения разрешено при создании / обновлении тем, чтобы темы не могли заполнить ваш диск.

Вы выполнили все шаги по восстановлению, но вы действительно не хотите заполнять диски, чтобы поддерживать высокую доступность кластера.