У меня есть достаточно крупный кластер Kubernetes, имеющий не менее 20 модулей на узел и более 10 узлов.
Базовые докер-агенты используют overlay2 в качестве механизма хранения.
Мы часто видим, чтопосле нескольких часов или дней процессы внутри контейнера больше не могут записывать в определенные каталоги.Наблюдаемая ошибка:
root@node:/project/input# echo " " >> test.txt
bash: test.txt: No such file or directory
После значительного тестирования кажется, что файлы не могут быть записаны в каталоги, в которые редко записываются.Просматривая каталоги overlay2, я вижу, что каталоги, в которые я могу записать, находятся в «верхнем» каталоге.Каталоги, в которые я не могу записать, находятся в «нижних» связанных каталогах.
Для узлов используется менее 10% использования инода, мы не превышаем пределы наблюдения inotify, и в памяти остается не менее 10% (> 1 ГБ)и 60% загрузки процессора в среднем.
Что может быть причиной этого?