Я настраиваю среду Airflow в Google Cloud Composer для тестирования.Я добавил некоторые секреты в свое пространство имен, и они отображаются нормально:
$ kubectl describe secrets/eric-env-vars
Name: eric-env-vars
Namespace: eric-dev
Labels: <none>
Annotations: <none>
Type: Opaque
Data
====
VERSION_NUMBER: 6 bytes
Я ссылался на этот секрет в моем файле определения DAG (опуская некоторый код для краткости):
env_var_secret = Secret(
deploy_type='env',
deploy_target='VERSION_NUMBER',
secret='eric-env-vars',
key='VERSION_NUMBER',
)
dag = DAG('env_test', schedule_interval=None, start_date=start_date)
operator = KubernetesPodOperator(
name='k8s-env-var-test',
task_id='k8s-env-var-test',
dag=dag,
image='ubuntu:16.04',
cmds=['bash', '-cx'],
arguments=['env'],
config_file=os.environ['KUBECONFIG'],
namespace='eric-dev',
secrets=[env_var_secret],
)
Но когда я запускаю этот DAG, переменная VERSION_NUMBER env не распечатывается.Не похоже, что он правильно связан с модулем (извиняюсь за неточный язык, я новичок и в Kubernetes, и в Airflow).Это из журнала задач Airflow ответа на создание модуля (также отформатированного для краткости / читабельности):
'env': [
{
'name': 'VERSION_NUMBER',
'value': None,
'value_from': {
'config_map_key_ref': None,
'field_ref': None,
'resource_field_ref': None,
'secret_key_ref': {
'key': 'VERSION_NUMBER',
'name': 'eric-env-vars',
'optional': None}
}
}
]
Я предполагаю, что мы как-то называем конструктор для Secret неправильно, ноЯ не совсем уверен.Руководство ценится!