Как прочитать значение, переданное в засыпку воздушного потока --conf {"key": "value"} - PullRequest
Новая
       3

Как прочитать значение, переданное в засыпку воздушного потока --conf {"key": "value"}

0 голосов
/ 16 апреля 2019

У меня есть DAG с воздушным потоком, который я могу запустить с некоторыми параметрами, используя: 

airflow trigger_dag 'my_dag' --conf '{"key":"value"}'

, тогда я могу получить «значение» в моей DAG следующим образом: 

context['dag_run'].conf.get('key')

Iхотел бы сделать то же самое, используя backfill: 

airflow backfill 'my_dag' --conf '{"key":"value"}' -s 2019-04-15 -e 2019-04-16

Возможно ли получить переданное значение в --conf для обратной засыпки?

1 Ответ

0 голосов
/ 17 апреля 2019

Да, команда обратной засыпки также имеет параметр conf.

От: https://airflow.apache.org/1.10.3/cli.html#backfill

airflow backfill [-h] [-t TASK_REGEX] [-s START_DATE] [-e END_DATE] [-m] [-l]
                 [-x] [-i] [-I] [-sd SUBDIR] [--pool POOL]
                 [--delay_on_limit DELAY_ON_LIMIT] [-dr] [-v] [-c CONF]
                 [--reset_dagruns] [--rerun_failed_tasks] [-B]
                 dag_id

-c, --conf
JSON string that gets pickled into the DagRun’s conf attribute
...