У меня есть 3-брокерская установка Kafka без реплики на Azure K8S, использующая cp-kafka 5.0.1 helm (которая использует изображение 5.0.1 ).
В какой-то момент (к сожалению, у меня нет журналов) один из брокеров Kafka потерпел крах, и когда он перезапустился, он продолжил бесконечный болезненный цикл перезапуска. Кажется, он пытается восстановить некоторые поврежденные записи журнала, занимает looong время, а затем зависает с SIGTERM. Что еще хуже, я больше не могу потреблять / производить по затронутым темам в полном объеме. Прилагаемые журналы, а также снимок экрана мониторинга, на котором Кафка медленно просматривает файлы журналов, заполняя дисковый кеш.
Теперь у меня log.retention.bytes установлено на 180 ГБ - но я бы хотел оставить это такпуть без Кафки, попадающего в этот бесконечный цикл. Подозревая, что это может быть проблема старой версии, я искал релевантные ключевые слова в JIRA Kafka ( "все еще запускается" и "SIGTERM" "поврежденный индексный файл" ), но нашелничего.
Так что я не могу полагаться на более новую версию, чтобы решить эту проблему, и я не хочу полагаться на небольшой размер хранения, поскольку это может привести к большему количеству поврежденных журналов.
Таким образом, мой вопрос - есть ли способ сделать что-нибудь / все из следующего:
- Предотвратить SIGTERM, что позволит Кафке полностью восстановиться?
- Разрешить возобновление потребления / производства на незатронутых разделах (кажется, что только 4 раздела из 30 имеют поврежденную запись)?
- В противном случае остановить это безумие?
(Если нет, я прибегну к: (a) обновлению Kafka; (b) уменьшению log.retention.bytes на порядок; (c) включению реплик в надежде, что это поможет; (d) улучшению регистрациичтобы выяснить причину сбоя, во-первых.)
Журналы
Журнал, в котором выполняется загрузка журналов, но очистка + очистка прерывается:
[2019-10-10 00:05:36,562 INFO [ThrottledChannelReaper-Fetch: Starting (kafka.server.ClientQuotaManager$ThrottledChannelReaper)
[2019-10-10 00:05:36,564 INFO [ThrottledChannelReaper-Produce: Starting (kafka.server.ClientQuotaManager$ThrottledChannelReaper)
[2019-10-10 00:05:36,564 INFO [ThrottledChannelReaper-Request: Starting (kafka.server.ClientQuotaManager$ThrottledChannelReaper)
[2019-10-10 00:05:36,598 INFO Loading logs. (kafka.log.LogManager)
[2019-10-10 00:05:37,802 WARN [Log partition=my-topic-3, dir=/opt/kafka/data-0/logs] Found a corrupted index file corresponding to log file /opt/kafka/data-0/logs/my-topic-3/00000000000000031038.log due to Corrupt time index found, time index file (/opt/kafka/data-0/logs/my-topic-3/00000000000000031038.timeindex) has non-zero size but the last timestamp is 0 which is less than the first timestamp 1570449760949}, recovering segment and rebuilding index files... (kafka.log.Log)
...
[2019-10-10 00:42:27,037] INFO Logs loading complete in 2210438 ms. (kafka.log.LogManager)
[2019-10-10 00:42:27,052] INFO Starting log cleanup with a period of 300000 ms. (kafka.log.LogManager)
[2019-10-10 00:42:27,054] INFO Starting log flusher with a default period of 9223372036854775807 ms. (kafka.log.LogManager)
[2019-10-10 00:42:27,057] INFO Starting the log cleaner (kafka.log.LogCleaner)
[2019-10-10 00:42:27,738] INFO Terminating process due to signal SIGTERM (org.apache.kafka.common.utils.LoggingSignalHandler)
[2019-10-10 00:42:27,763] INFO Shutting down SupportedServerStartable (io.confluent.support.metrics.SupportedServerStartable)
Журнал, в котором загрузка прерывается:
[2019-10-10 01:55:25,502 INFO [ThrottledChannelReaper-Fetch: Starting (kafka.server.ClientQuotaManager$ThrottledChannelReaper)
[2019-10-10 01:55:25,502 INFO [ThrottledChannelReaper-Produce: Starting (kafka.server.ClientQuotaManager$ThrottledChannelReaper)
[2019-10-10 01:55:25,504 INFO [ThrottledChannelReaper-Request: Starting (kafka.server.ClientQuotaManager$ThrottledChannelReaper)
[2019-10-10 01:55:25,549 INFO Loading logs. (kafka.log.LogManager)
[2019-10-10 01:55:27,123 WARN [Log partition=my-topic-3, dir=/opt/kafka/data-0/logs] Found a corrupted index file corresponding to log file /opt/kafka/data-0/logs/my-topic-3/00000000000000031038.log due to Corrupt time index found, time index file (/opt/kafka/data-0/logs/my-topic-3/00000000000000031038.timeindex) has non-zero size but the last timestamp is 0 which is less than the first timestamp 1570449760949}, recovering segment and rebuilding index files... (kafka.log.Log)
...
[2019-10-10 02:17:01,249] INFO [ProducerStateManager partition=my-topic-12] Loading producer state from snapshot file '/opt/kafka/data-0/logs/my-topic-12/00000000000000004443.snapshot' (kafka.log.ProducerStateManager)
[2019-10-10 02:17:07,090] INFO Terminating process due to signal SIGTERM (org.apache.kafka.common.utils.LoggingSignalHandler)
[2019-10-10 02:17:07,093] INFO Shutting down SupportedServerStartable (io.confluent.support.metrics.SupportedServerStartable)
[2019-10-10 02:17:07,093] INFO Closing BaseMetricsReporter (io.confluent.support.metrics.BaseMetricsReporter)
[2019-10-10 02:17:07,093] INFO Waiting for metrics thread to exit (io.confluent.support.metrics.SupportedServerStartable)
[2019-10-10 02:17:07,093] INFO Shutting down KafkaServer (io.confluent.support.metrics.SupportedServerStartable)
[2019-10-10 02:17:07,097] INFO [KafkaServer id=2] shutting down (kafka.server.KafkaServer)
[2019-10-10 02:17:07,105] ERROR [KafkaServer id=2] Fatal error during KafkaServer shutdown. (kafka.server.KafkaServer)
java.lang.IllegalStateException: Kafka server is still starting up, cannot shut down!
at kafka.server.KafkaServer.shutdown(KafkaServer.scala:560)
at io.confluent.support.metrics.SupportedServerStartable.shutdown(SupportedServerStartable.java:147)
at io.confluent.support.metrics.SupportedKafka$1.run(SupportedKafka.java:62)
[2019-10-10 02:17:07,110] ERROR Caught exception when trying to shut down KafkaServer. Exiting forcefully. (io.confluent.support.metrics.SupportedServerStartable)
java.lang.IllegalStateException: Kafka server is still starting up, cannot shut down!
at kafka.server.KafkaServer.shutdown(KafkaServer.scala:560)
at io.confluent.support.metrics.SupportedServerStartable.shutdown(SupportedServerStartable.java:147)
at io.confluent.support.metrics.SupportedKafka$1.run(SupportedKafka.java:62)
Мониторинг
