Я уже использовал Netflix Conductor как оркестровку рабочего процесса, а Apache Airflow для меня новость. В Conductor выполнение рабочих процессов выполняется следующим образом:
- Рабочий процесс начинается с вызова API REST
- Каждый отдельный работник (служба) опрашивает свои собственные задачи, постоянно вызывая методы API-интерфейса REST: Проводник
- После выполнения или невыполнения этих задач каждый работник вызывает REST API для изменения статуса рабочего процесса
Каждая из этих рабочих задач является отдельной службой. Они реализованы на разных языках программирования.
Кажется, я не могу найти никаких примеров того, как использовать эти понятия в Apache Airflow. Постоянное использование BashOperator кажется мне очень плохим решением.
Есть ли примеры, показывающие, как использовать работников, некоторые из них написаны не на python, для прослушивания и выполнения? его задачи, которые определены в DAG?