Что это за инструмент Apache Airflow (FBP, ETL, Other ...)?

Question

Чем AirFlow отличается от инструмента FBP (Flow-Programming), такого как, например, Node-Red?

Является ли Airflow инструментом ETL (Extract, Transform, Load)?Это инструмент FBP?Оба?

Если это не инструмент FBP, в чем преимущества / недостатки по сравнению с FBP?

Примечание: я заметил, что график потока воздуха - DAG?Это ограничение (относительно того, что возможно с инструментом FBP?)

Спасибо!

Answer 1

Из официальных документов : Airflow - это платформа для программного программирования, планирования и мониторинга рабочих процессов.

Принципы проектирования Airflow:

• ДинамическийТрубопроводы воздушного потока конфигурируются как код (Python), что позволяет динамически генерировать конвейер.Это позволяет писать код, который динамически создает экземпляры конвейеров.
• Расширяемый: легко определяйте свои собственные операторы, исполнители и расширяйте библиотеку, чтобы она соответствовала уровню абстракции, подходящему для вашей среды.
• Elegant:Трубопроводы воздушного потока скудные и четкие.Параметризация ваших сценариев встроена в ядро ​​Airflow с помощью мощного движка шаблонов Jinja.
• Масштабируемость: Airflow имеет модульную архитектуру и использует очередь сообщений для организации произвольного числа рабочих.Воздушный поток готов к масштабированию до бесконечности.

Он может использоваться для ETL и также является FBP.Это довольно универсальный инструмент.

DAG или Направленный ациклический граф - это набор всех задач, которые вы хотите выполнить, организованных таким образом, чтобы отражать их взаимосвязи и зависимости.