Какой предпочтительный способ запуска задания требует большого дискового пространства tmp?

Question

У меня есть служба, которая должна сканировать большие файлы и обрабатывать их, загружать обратно на файловый сервер. Моя проблема в том, что по умолчанию доступное пространство в модуле составляет 10 ГБ, что недостаточно. У меня есть 3 варианта:

1. использовать том hostFile / emptyDir, но таким образом я не могу указать, сколько места мне нужно, мои поды могут быть запланированы на узел, на котором недостаточно места на диске .
2. использовать постоянный том hostFile, но в документах говорится, что это «Тестирование только одного узла»
3. использовать локальный постоянный том, но согласно документу Dynamic provisioning is not supported yet, мне нужно вручную создать pv в каждом узле, что мне кажется неприемлемым, но если нет других вариантов, это будет единственный способ go.

Есть ли другие более простые варианты, чем local persistent volume?

Answer 1

В зависимости от вашего облачного провайдера вы можете установить свои варианты блочного хранилища, например, Google Cloud Storage, Azure хранилище Azure, Elasticblockstore для AWS. Таким образом, вы не будете зависеть от доступности вашего узла для хранения. Все они поддерживаются в Kubernetes через плагины как расширенные заявки на постоянные тома . Например:

gcePersistentDisk

Том gcePersistentDisk подключает Google Compute Engine (GCE) Persistent Disk к вашему Pod. В отличие от emptyDir, который стирается при удалении модуля, содержимое PD сохраняется, а том просто отключается. Это означает, что PD может быть предварительно заполнен данными, и что данные могут быть «переданы» между Pods.T

Это аналогично awsElasticBlockStore или azureDisk

Если вы хотите использовать AWS S3, существует Оператор S3 , который может вас заинтересовать.

AWS Оператор S3 развернет AWS S3 Provisioner, который будет динамически или статически предоставлять AWS хранилище S3 Bucket и доступ к нему.