Я использую Apache NiFi с Spark.
Я отправляю задания Spark в кластер Spark с использованием процессора ExecuteStreamCommand.
Я хотел бы дождаться окончания задания Spark sh перед запуском других процессоров.
Однако в моем случае процессоры запускаются одновременно.
Рабочий процесс показан на изображении ниже.
DownloadFromDB Группа процессов (содержит Spark ExecuteStreamCommand) должна завершиться sh до запуска CleanTempFiles и MergeFilesAndUploadToDB. Однако CleanTempFiles запускается до завершения DownloadFromDB .
Ниже представлена группа процессов DownloadFromDB (MergeFilesAndUploadToDB имеет те же процессоры, только другое задание Spark отправлено).
Ниже CleanTempFiles группа процессов 