ПРЕДУПРЕЖДЕНИЕ Обнаружен поврежденный индексный файл из-за сбоя требования: поврежден индексный файл, индексный файл

Question

Кафка v0.11.0.2

Брокер Kafka работал в часовом поясе PST около месяца, а затем из-за исправления ОС Admin изменил часовой пояс на EST, и после перезапуска мы увидели воспроизведение сообщения потребителя (смещение потребителя было сброшено до 0). Мы попросили администраторов изменить часовой пояс обратно на PST, им потребовалось 3 дня, чтобы изменить его. После изменения часового пояса обратно на PST, во время перезапуска брокера мы увидели следующие сообщения журнала (даже для Тем и __consumer_offsets -> WARN. Обнаружен поврежденный индексный файл из-за сбоя требования:)

Поскольку __consumer_offsets был поврежден при перезапуске брокера Kafka из-за изменений часового пояса, действительно ли он сбрасывает смещение потребителя на 0? Мы снова получили повтор сообщений после этого сообщения.

WARN Обнаружен поврежденный файл индекса из-за сбоя требования: найден поврежденный индекс, файл индекса (/App/kafka_2.12-0.11.0.2/data/__consumer_offsets-21/00000000000000002076.index) имеет ненулевой размер, но последнее смещение 2076, которое не больше смещение базы 2076.}. удаление /app/kafka_2.12-0.11.0.2/data/__consumer_offsets-21/00000000000000002076.timeindex, /app/kafka_2.12-0.11.0.2/data/__consumer_offsets-21/00000000000000002076.index, а также /app/kafka_2.12-0.11.0.2/data/__consumer_offsets-21/00000000000000002076.txnindex и перестроение индекса ... (kafka.log.Log)

Как мы решаем смещение потребителя, не возвращаясь к нулю (0)?

Answer 1

Я включаю эту проблему, просто удалите индексный файл и запустите kafka:

cd /tmp/kafka-logs/dolphin-spider-google-book-bookinfo-0
# delete index file
rm -rf *

проблема решена. Обратите внимание: этот метод потерял бы ваше текущее сообщение.

Answer 2

Удалить индексный файл.

Эта проблема основана на том, что индекс не может соответствовать файлу журнала. Эта проблема существует давно, способ восстановления состоит в том, чтобы удалить индексный файл, он будет воссоздан.