Я хочу передать параметры конкретной задаче в моем Airflow Dag и получить доступ к ней в моем коде pyspark. Ниже приведено определение задачи:
run_cmd_arg_test_job= DataProcPySparkOperator(
task_id='test',
main='gs://dataprocessing_scripts/testArg.py',
arguments=['2018-05-07'],
job_name='test',
dataproc_cluster='smoke-cluster-{{ ds_nodash }}',
gcp_conn_id='google_cloud_default',
region='global'
)
как я могу получить доступ к значению свойства "arguments" в главном файле "gs: //dataprocessing_scripts/testArg.py"?