Как связать ПВХ с рабочим модулем в потоке воздуха при использовании kubernetes executor? - PullRequest
Новая
       81

Как связать ПВХ с рабочим модулем в потоке воздуха при использовании kubernetes executor?

0 голосов
/ 11 декабря 2019

Я использую Kubernetes исполнитель потока воздуха и для data management (обмен данными через стручок) , пытаясь записи данных в некоторых смонтированный каталог, но вопрос, который я столкнулся, как установить PVC над рабочим стручка где эта задача выполняется.

Worker pod нерестится только в момент dag execution и удаляются после завершения задачи. Поскольку worker pod только управляемы через файл конфигурации (airflow.cfg) .

1014 * Как связать ПВХ для рабочего стручок кроме используется для dags и logs?

1 Ответ

0 голосов
/ 11 декабря 2019

При удалении PVC соответствующий PV становится освобожденным. Этот PV может содержать конфиденциальные данные (скажем, номера кредитных карт), и поэтому никто не может связываться с ним, даже если это PVC с тем же именем и в том же пространстве имен, что и предыдущий - кто знает, кто пытается украсть данные!

1006 * Действие требуется здесь. У вас есть два варианта:
  • Сделать PV доступным для всех - удалить PV.Spec.ClaimRef. Такой PV может быть привязан к любому PVC (при условии, что емкость, режим доступа и селекторы совпадают)
  • Сделать PV доступным для определенного PVC - предварительно заполнить PV.Spec.ClaimRef указателем на PVC. Оставьте PV.Spec.ClaimRef, UID пустой, так как ПВХ не к необходимости существования в этой точке, и вы не знаете UID PVC в. Этот PV может быть связан только с указанным PVC.

Просто создайте новый PVC, связанный с выходом из PV (через его UID) и развертыванием, использующим этот PV.

Аналогичная проблема: *. 1017 * пвх

Официальная документация: kubernetes-пвх 1023 *.

...