Могу ли я установить переменные Airflow внутри DockerOperator? - PullRequest
Новая
       5

Могу ли я установить переменные Airflow внутри DockerOperator?

1 голос
/ 27 февраля 2020

У меня есть DAG, которая запускает контейнер Docker, используя DockerOperator. Контейнер Docker запускает некоторые Python и сценарии оболочки. Возможно ли для этих сценариев установить переменную Airflow (те, которые отображаются в http://localhost:8080/variable/list/)?

Я знаю, что можно передать шаблонную команду в docker следующим образом: 

t2 = DockerOperator(
        task_id='docker_command',
        image='my_docker:latest',
        auto_remove=True,
        environment={
                'AF_EXECUTION_DATE': "{{ ds }}",
                'AF_OWNER': "{{ task.owner }}"
            }
    )

Но это позволило бы Docker читать их, но не писать им.

...