Воздушный поток: передать значение_даты в качестве параметра в DataflowPythonOperator - PullRequest
Новая
       23

Воздушный поток: передать значение_даты в качестве параметра в DataflowPythonOperator

0 голосов
/ 26 марта 2020

Я бы хотел использовать дату выполнения из Airflow в качестве параметра моего задания Dataflow, используя DataflowPythonOperator . В частности, это задание считывает данные из Google BigQuery, поэтому мне нужно указать дату выполнения как часть запроса.

Я пробовал op_kwarg и provide_context, но, похоже, он применяется только к PythonOperator.

Это выглядит примерно так. В DAG: 

run_dataflow = DataFlowPythonOperator(
        task_id='run_dataflow',
        py_file="/path/to/main.py",
        options=dataflowoptions,
        params = execution_date

В main.py:

query = ('select * from `project_id.dataset.table`'
             'where date = {}')
query = query.format(params)
...