Логи кубелета затопляют даже после удаления стручков - PullRequest
0 голосов
/ 15 января 2019
Kubernetes version : v1.6.7
Network plugin : weave

Недавно я заметил, что весь мой кластер из 3 узлов вышел из строя. Выполнение моего начального уровня устранения неполадок показало, что /var на всех узлах было 100%.

Дальнейшие действия в журналах показали, что журналы должны быть залиты с помощью kubelet с указанием

Jan 15 19:09:43 test-master kubelet[1220]: E0115 19:09:43.636001    1220 kuberuntime_gc.go:138] Failed to stop sandbox "fea8c54ca834a339e8fd476e1cfba44ae47188bbbbb7140e550d055a63487211" before removing: rpc error: code = 2 desc = NetworkPlugin cni failed to teardown pod "<TROUBLING_POD>-1545236220-ds0v1_kube-system" network: CNI failed to retrieve network namespace path: Error: No such container: fea8c54ca834a339e8fd476e1cfba44ae47188bbbbb7140e550d055a63487211
Jan 15 19:09:43 test-master kubelet[1220]: E0115 19:09:43.637690    1220 docker_sandbox.go:205] Failed to stop sandbox "fea94c9f46923806c177e4a158ffe3494fe17638198f30498a024c3e8237f648": Error response from daemon: {"message":"No such container: fea94c9f46923806c177e4a158ffe3494fe17638198f30498a024c3e8237f648"}

<TROUBLING_POD>-1545236220-ds0v1 был инициирован из-за cronjob, и из-за некоторых неправильных настроек во время работы этих модулей произошли ошибки, и было запущено больше модулей.

Итак, я удалил все задания и связанные с ними модули. Таким образом, у меня был кластер, в котором не было запущенных заданий / модулей, связанных с моим cronjob, и все еще вижу те же сообщения об ОШИБКАХ, заполняющих журналы.

Я сделал:

1) Перезапустите Docker и Kubelet на всех узлах.

2) Перезапустить всю плоскость управления

а также 3) Перезагрузите все узлы.

Но, тем не менее, журналы заполнены теми же сообщениями об ошибках, даже если такие блоки не вращаются.

Так что я не знаю, как я могу помешать kubelet выбрасывать ошибки.

Есть ли способ сбросить используемый мной сетевой плагин? Или делать что-то еще?

1 Ответ

0 голосов
/ 16 января 2019

Проверьте, существует ли каталог pod в /var/lib/kubelet

Вы используете очень старую версию Kubernetes, обновление решит эту проблему.

...