ошибка «Параметры шаблона недопустимы». при запуске шаблона dataprep из композитора - PullRequest
Новая
       21

ошибка «Параметры шаблона недопустимы». при запуске шаблона dataprep из композитора

0 голосов
/ 05 ноября 2019

Я использую следующий код:

============================================== 

from datetime import timedelta, datetime

from airflow import DAG
from airflow.contrib.operators.dataflow_operator import DataflowTemplateOperator
from airflow.operators.dummy_operator import DummyOperator
from airflow.models import Variable

PROJECT = Variable.get('gcp_project')
print("project"+PROJECT)
TEMP_BUCKET = Variable.get('stg_bucket')
TEMPLATE = "gs://*************"
INPUT_FILE = "{\"location1\":\"test:random.Summary\"}"
OUTPUT_FILE = "{\"location1\":\"test:random.TestSummary\"}"
PARAMETERS = {
    'inputFile': INPUT_FILE,
    'outputFile': OUTPUT_FILE
    }

TODAY = datetime.today()
TODAY_STRING = datetime.today().strftime('%Y%m%d')

DEFAULT_DAG_ARGS = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': TODAY,
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'schedule_interval': '@hourly',
    'dataflow_default_options': {
               'project': PROJECT,
               'region':'us-west1',
           'zone': 'us-west1-b',
               'tempLocation': TEMP_BUCKET
           }
}

dag = DAG(
    'Demo-DAG-DataflowTemplate',
    default_args=DEFAULT_DAG_ARGS,
    dagrun_timeout=timedelta(hours=1)
    )

start = DummyOperator(task_id='inicio', dag=dag)
end = DummyOperator(task_id='fim', dag=dag)

t1 = DataflowTemplateOperator(
    task_id='dataflow_template_launch',
    template=TEMPLATE,
    parameters=PARAMETERS,
    dag=dag)

start >> t1 >> end

==================================================================================================== Однако при работе DAG у меня возникают проблемы. Ошибка говорит:

вернул «Параметры шаблона недопустимы.»

Я могу запустить тот же шаблон, используя обычный код Python, но когда я использую DataflowTemplateOperator, он не выполняется. Может кто-нибудь, пожалуйста, помогите мне в этом?

...