Kubernetes version : v1.6.7
Network plugin : weave
Недавно я заметил, что весь мой кластер из 3 узлов вышел из строя. Выполнение моего начального уровня устранения неполадок показало, что /var на всех узлах было 100%.
Дальнейшие действия в журналах показали, что журналы должны быть залиты с помощью kubelet с указанием
Jan 15 19:09:43 test-master kubelet[1220]: E0115 19:09:43.636001 1220 kuberuntime_gc.go:138] Failed to stop sandbox "fea8c54ca834a339e8fd476e1cfba44ae47188bbbbb7140e550d055a63487211" before removing: rpc error: code = 2 desc = NetworkPlugin cni failed to teardown pod "<TROUBLING_POD>-1545236220-ds0v1_kube-system" network: CNI failed to retrieve network namespace path: Error: No such container: fea8c54ca834a339e8fd476e1cfba44ae47188bbbbb7140e550d055a63487211
Jan 15 19:09:43 test-master kubelet[1220]: E0115 19:09:43.637690 1220 docker_sandbox.go:205] Failed to stop sandbox "fea94c9f46923806c177e4a158ffe3494fe17638198f30498a024c3e8237f648": Error response from daemon: {"message":"No such container: fea94c9f46923806c177e4a158ffe3494fe17638198f30498a024c3e8237f648"}
<TROUBLING_POD>-1545236220-ds0v1 был инициирован из-за cronjob, и из-за некоторых неправильных настроек во время работы этих модулей произошли ошибки, и было запущено больше модулей.
Итак, я удалил все задания и связанные с ними модули. Таким образом, у меня был кластер, в котором не было запущенных заданий / модулей, связанных с моим cronjob, и все еще вижу те же сообщения об ОШИБКАХ, заполняющих журналы.
Я сделал:
1) Перезапустите Docker и Kubelet на всех узлах.
2) Перезапустить всю плоскость управления
а также
3) Перезагрузите все узлы.
Но, тем не менее, журналы заполнены теми же сообщениями об ошибках, даже если такие блоки не вращаются.
Так что я не знаю, как я могу помешать kubelet выбрасывать ошибки.
Есть ли способ сбросить используемый мной сетевой плагин? Или делать что-то еще?