Как получить доступ к значениям аргументов, которые передаются в задаче с оператором DataProcPySparkOperator? - PullRequest
Новая
       8

Как получить доступ к значениям аргументов, которые передаются в задаче с оператором DataProcPySparkOperator?

0 голосов
/ 07 мая 2018

Я хочу передать параметры конкретной задаче в моем Airflow Dag и получить доступ к ней в моем коде pyspark. Ниже приведено определение задачи: 

run_cmd_arg_test_job= DataProcPySparkOperator(
    task_id='test',
    main='gs://dataprocessing_scripts/testArg.py',
    arguments=['2018-05-07'],
    job_name='test',
    dataproc_cluster='smoke-cluster-{{ ds_nodash }}',
    gcp_conn_id='google_cloud_default',
    region='global'
)

как я могу получить доступ к значению свойства "arguments" в главном файле "gs: //dataprocessing_scripts/testArg.py"?

...