У меня есть Kafka, основанный на 3-х узлах, для зоопарка.
Я использую версию 0.11.xx
Недавно мы провели обновление ОС на базовых виртуальных машинах в двух рабочих кластерах.
После обновления один из кластеров работает нормально, но другой кластер, я вижу, что брокеры Kafka автоматически перезагружаются.
Это автоматическое поведение происходит по крайней мере 15-20 раз в минуту.
Я бы сомневался, если это проблема конфигурации, так как такое же изменение было реализовано в другом кластере (с теми же настройками, что и у того, который имеет проблему) и работает хорошо.
Процессор и использование памяти кажутся нормальными, хотя нагрузка на ЦП несколько увеличилась по сравнению с другим кластером, но он все еще находится под контролем
Какие-либо конкретные причины того, почему это может происходить?
Я вставил журналы ошибок, эти сообщения появляются снова и снова
Журналы контроллера
[2019-01-11 22:45:03,076] INFO [Controller 1]: Newly added brokers: , deleted brokers: 2, all live brokers: 1,3 (kafka.controller.KafkaController)
[2019-01-11 22:45:03,077] INFO Connection to 10.2.14.200 closed by remote host. down (kafka.controller.RequestSendThread)
Connection to 10.2.14.200 closed.ontroller-1-to-broker-2-send-thread]: Stopped (kafka.controller.RequestSendThread)
[2019-01-11 22:45:03,077] INFO [Controller-1-to-broker-2-send-thread]: Shutdown completed (kafka.controller.RequestSendThread)
Cleaning up ssh artifacts INFO [Controller 1]: Broker failure callback for 2 (kafka.controller.KafkaController)
[2019-01-11 22:45:03,109] INFO [Controller 1]: Removed ArrayBuffer(2) from list of shutting down brokers. (kafka.controller.KafkaController)
[2019-01-13 18:00:13,537] DEBUG [Controller 2]: Broker 1 has been elected as the controller, so stopping the election process. (kafka.controller.KafkaController)
[2019-01-13 18:00:31,822] INFO [controller-event-thread]: Shutting down (kafka.controller.ControllerEventManager$ControllerEventThread)
[2019-01-13 18:00:31,822] INFO [controller-event-thread]: Stopped (kafka.controller.ControllerEventManager$ControllerEventThread)
[2019-01-13 18:00:31,822] INFO [controller-event-thread]: Shutdown completed (kafka.controller.ControllerEventManager$ControllerEventThread)
[2019-01-13 18:00:31,823] DEBUG [Controller 2]: Controller resigning, broker id 2 (kafka.controller.KafkaController)
[2019-01-13 18:00:31,823] DEBUG [Controller 2]: De-registering IsrChangeNotificationListener (kafka.controller.KafkaController)
[2019-01-13 18:00:31,824] INFO [Partition state machine on Controller 2]: Stopped partition state machine (kafka.controller.PartitionStateMachine)
[2019-01-13 18:00:31,824] INFO [Replica state machine on controller 2]: Stopped replica state machine (kafka.controller.ReplicaStateMachine)
[2019-01-13 18:00:31,825] INFO [Controller 2]: Broker 2 resigned as the controller (kafka.controller.KafkaController)
[2019-01-13 18:00:44,477] INFO [controller-event-thread]: Starting (kafka.controller.ControllerEventManager$ControllerEventThread)
[2019-01-13 18:00:44,513] DEBUG [Controller 2]: Broker 1 has been elected as the controller, so stopping the election process. (kafka.controller.KafkaController)*
Server.logs
[2019-01-12 15:59:55,782] INFO [Kafka Request Handler on Broker 2], shutting down (kafka.server.KafkaRequestHandlerPool)
[2019-01-12 15:59:55,784] INFO [Kafka Request Handler on Broker 2], shut down completely (kafka.server.KafkaRequestHandlerPool)
[2019-01-12 15:59:55,786] INFO [ThrottledRequestReaper-Fetch]: Shutting down (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:56,099] INFO [ThrottledRequestReaper-Fetch]: Stopped (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:56,099] INFO [ThrottledRequestReaper-Fetch]: Shutdown completed (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:56,099] INFO [ThrottledRequestReaper-Produce]: Shutting down (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:56,103] INFO [ThrottledRequestReaper-Produce]: Stopped (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:56,103] INFO [ThrottledRequestReaper-Produce]: Shutdown completed (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:56,103] INFO [ThrottledRequestReaper-Request]: Shutting down (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:57,103] INFO [ThrottledRequestReaper-Request]: Stopped (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:57,103] INFO [ThrottledRequestReaper-Request]: Shutdown completed (kafka.server.ClientQuotaManager$ThrottledRequestReaper)
[2019-01-12 15:59:57,104] INFO [KafkaApi-2] Shutdown complete. (kafka.server.KafkaApis)
[2019-01-12 15:59:57,105] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2019-01-12 15:59:57,107] INFO EventThread shut down for session: 0x26832f429b62e06 (org.apache.zookeeper.ClientCnxn)