Через Terraform мы развиваем кластер EMR в различных средах.Эти кластеры EMR могут запускать команды spark-submit.Моя задача состоит в том, чтобы Airflow определил EMR Master и выполнил Dag, созданный разработчиками.
spark-submit