Я пытаюсь запустить два из шагов emr параллельно, в то время как другие будут работать последовательно. Например, Step1 и step2 будут работать последовательно, но я хочу, чтобы step3 и step4 работали параллельно. Я не уверен, что это сработает, добавив это свойство: 'spark.yarn.submit.waitAppCompletion = false'
Я знаю, что такой сценарий может быть легко реализован с помощью механизма оркестрации, такого как Step Function et c, но я проверка будет возможно сделать это из самого кода.