Я использую версию kafka 0.11.0.2 на кластере с 3 брокерами и подключаю новый диск ко всем брокерам. Каким-то образом на брокере 2 я начал получать следующую (заменил фактический путь на XXXXX) ошибку после перезапуска
Found a corrupted index file due to requirement failed: Corrupt index found, index file (/XXXXX/XXXXX/00000000000000000000.index) has non-zero size but the last offset is 0 which is no larger than the base offset 0.}. deleting /XXXXX/XXXXX/00000000000000000000.timeindex, /XXXXX/XXXXX/00000000000000000000.index, and /XXXXX/XXXXX/00000000000000000000.txnindex and rebuilding index... (kafka.log.Log)
Я искал и обнаружил, что это произошло из-за нечистого завершения работы, и обходной путь - удалить индексный файл размером 10 МБ.
и я очистил, используя следующую команду
find /XXXXX -size 10485760c -name *.index -delete
Так как после этого запуска я начал получать следующую ошибку, и брокер все еще внезапно убивается.
ERROR Could not find offset index file corresponding to log file /XXXXX/XXXXX/00000000000000000000.log, rebuilding index... (kafka.log.Log)
Как решить эту проблему?