Как скопировать корзину S3 на узлы Kubernetes

Question

Я хотел скопировать корзину S3 на узлах Kubernetes как DaemonSet, так как новый узел также получит копию корзины s3, как только он будет запущен, Я предпочитаю копию S3 на узел Kubernetes, потому что копирование S3 непосредственно в модуль в качестве API AWS будет означать несколько вызовов, так как это требуется для нескольких модулей, и каждый раз при запуске модуля потребуется время для копирования содержимого.

Answer 1

Предполагая, что ваш контент S3 является статическим и не часто меняется. Я считаю, что больше, чем DaemonSet, имеет смысл использовать один раз Job для копирования всей корзины S3 на локальный диск. Непонятно, как вы будете сигнализировать планировщику куба, что ваш узел не готов, пока корзина S3 не будет полностью скопирована. Но, возможно, вы можете taint свой узел до завершения задания и удалить заразу после его завершения.

Также обратите внимание, что S3 по своей сути медленный и предназначен для одновременной обработки (чтения / записи) отдельных файлов, поэтому, если в вашем контейнере содержится большой объем данных, его копирование на диск узла может занять много времени. .

Если ваш контент S3 динамически (постоянно меняется), это будет более сложным, поскольку вам придется синхронизировать файлы. Ваши приложения, вероятно, должны будут кэшировать архитектуру, в которой вы будете искать локальный диск для поиска файлов, а если их там нет, то сделайте запрос на S3.