Зачем использовать воздушные плагины

Question

Я использую поток воздуха для организации моего ETL.

Для приема из определенных источников, таких как API, я использую пользовательские плагины Airflow (с крючками и операторами)

Мой вопрос - зачем использовать Airflow Плагины, мы можем достичь того же результата, используя оператор Bash для запуска простого скрипта python для достижения того же результата.

Есть ли явное преимущество использования плагинов Airflow по сравнению с использованием внешнего python скрипт

Answer 1

Вы используете предоставленные плагины, потому что они намного проще в использовании и созданы для выполнения определенной c задачи. Например, я создал оператор, который извлекает данные из базы данных (Snowflake) и записывает их в Slack в виде таблицы ASCII. Как бы вы выполнили ту же задачу, используя оператор bash? Конечно, вы могли бы сделать это, но это уродливо, а не "путь воздушного потока".

Что в итоге произойдет, если вы используете только оператор bash, так это то, что вы в конечном итоге столкнетесь с задачей, которую гораздо проще выполнить в Python, и начнете вызывать код python из Ваш оператор bash, когда все становится действительно грязно. Тогда кто-то, кто понимает, как работает Airflow, заканчивает тем, что спрашивает: «Почему вы просто не написали нового оператора для этого?»