какая процедура при сбое диска кафка + как убрать старые темы после сбоя диска

Question

у нас есть 3 машины kafka в кластере HDP

kafka01
kafka02
kafka03

kafka version -     0.10.0.2.6

каждая машина kafka (kafka03) имеет диск с 18T

и

default.replication.factor=3

последние машины кафки теряют диск (диск не исправен, и мы должны заменить его)

, поэтому мы заменили диск, и мы снова создали файловую систему на нем и снова создали темы

но - как все знают перед удалением данных kafka из тем, нам нужно удалить все темы в /var/kafka/kafka-logs

, а затем безопасно заменить диск

, ноэто не так, потому что диск внезапно заскочил, и мы не удалили темы

, так как теперь служба брокера kafka перестала работать через некоторое время, и мы думаем, что это потому, что темы, которые не были удалены до замены диска

какие-либо предложения по этому делу?

пример того, как удалить тему - PlR_TGE_FDS (чего мы не делали), и еще 23 темы, которые не удалили

/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --zookeeper zookeper_server01:2181 --delete --topic PlR_TGE_FDS

Answer 1

Используете ли вы один диск для каждого брокера в кластере?

В случае сбоя диска брокер Kafka должен обнаружить его и завершить работу.После того, как вы замените плохой диск, просто запустите своего брокера снова, и он должен скопировать все данные от других брокеров, а затем вернуть к нему руководство.

Я не понимаю, почему вы удалили темув случае сбоя диска, какой смысл фактор репликации?я что-то упустил?

[1] Как обрабатывать сбои дисков в Kafka?- Hortonworks
[2] Диски и файловая система - Документация Kafka