Что произойдет, если файлы kafka будут удалены?

Question

Это определенно не способ сделать это, и это, вероятно, должно быть обработано политикой очистки, но это не главное. Давайте представим, что файлы в log.dirs были удалены, как это повлияет?

Брокер потерпит крах?

Смещение начнется заново с 0 после перезапуска службы?

Нужно ли что-то делать, чтобы исправить?

Answer 1

Фактически это будет зависеть от того, сколько брокеров у вас есть в вашем кластере, и от того, сколько из них вы удалите файлы одновременно.К счастью, если вы удалите файлы из одного посредника в кластере с тремя посредниками, и для своих тем вы определили коэффициент репликации 3, вы ничего не потеряете, и файлы будут воссозданы на том посреднике, где вы их удалили.

Answer 2

Если вы удалите файлы из log.dirs, данные будут удалены, но тема все еще будет существовать в метаданных zookeeper. Брокер не потерпит крах. После перезапуска брокеров тема будет считаться пустой, и вы сможете создавать новые данные.

Если вы также удалите тему из метаданных zookeeper, она удалит тему из брокера.

Для проверки смещений вы можете использовать следующую команду:

// Before deleting the log.dirs directory for topic 'test1'
kafka_2.12-1.1.1 % bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test1
test1:0:6

// After deleting the directory and restarting the broker
kafka_2.12-1.1.1 % bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test1
test1:0:0