Как установить переменные среды для многоузлового AWS пакетного задания с использованием воздушного потока? - PullRequest
Новая
       87

Как установить переменные среды для многоузлового AWS пакетного задания с использованием воздушного потока?

0 голосов
/ 21 февраля 2020

Документированный способ запуска AWS Пакетных заданий из Airflow и установки переменных - это AWSBatchOperator: 

batch_job = AWSBatchOperator(
    task_id='batch_job',
    job_name='batch_job',
    job_definition='arn:aws:batch:blablabla',
    job_queue='arn:aws:batch:blablabla',
    overrides={
        'environment': [
            {'name': 'VAR', 'value': 'VALUE'},
        ]
    },
)

, который отлично подходит для стандартных заданий. Но для многоузловых заданий переменные среды должны быть установлены на уровне группы узлов, и я не могу найти способ добиться этого с помощью AWSBatchOperator. Любые известные обходные пути?

...