Возможно, уже поздно, но надеюсь, что это будет полезно.
Spark предоставляет опцию, которая указывает, будет ли вызывающий (шаг) ждать или не завершить искра приложения после отправки.Вы можете установить это значение как false, тогда шаг AWS emr будет отправлен и вернется немедленно.
spark.yarn.submit.waitAppCompletion: "false"
