Apache NiFi не является менеджером рабочих процессов, как Apache Airflow или Apache Oozie. Это инструмент потока данных - он направляет и преобразует данные. Он не предназначен для планирования заданий, а позволяет собирать данные из нескольких мест, определять отдельные этапы для обработки этих данных и направлять эти данные в разные места назначения.
Apache Falcon снова отличается тем, что позволяет более легко определять и управлять наборами данных HDFS. Это эффективное управление данными в кластере HDFS.
На основании вашего описания, NiFi будет полезным дополнением к вашим требованиям. Он сможет собирать ваш XML-файл, обрабатывать его каким-либо образом, хранить данные в MySQL и выполнять вызовы REST. Он также легко настраивается для новых поставщиков и хорошо переносит сбои. Он выполняет большинство функций параллельно и может масштабироваться в кластерный NiFi с несколькими хост-машинами. Он был разработан с учетом производительности и надежности.
В чем я не уверен, так это в способности выполнять обработку изображений. Есть несколько процессоров (извлечение метаданных изображения, изменение размера изображения), но в противном случае вам нужно будет разработать новый процессор на Java, что относительно просто. Или, если для обработки изображений используется Python или другой язык сценариев, вы можете использовать один из процессоров ExecuteScript.
«Планирование заданий» с использованием NiFi не рекомендуется.
Полное раскрытие: я участник Apache NiFi.