как создавать собственные операторы в airflow и использовать их в шаблоне airflow, который запускается через cloud composer (в облачной платформе Google)

Question

Мне нужно создать пользовательский оператор воздушного потока, который я смогу использовать в шаблоне воздушного потока (написанный на python), который работает в облачном компоновщике ...

Если я создаю пользовательский оператор воздушного потока, как я могуиспользовать его в шаблоне, который работает в облаке (как сделать его доступным для всех, чтобы они могли использовать этот оператор)

Answer 1

Вам необходимо использовать плагины Airflow.https://airflow.apache.org/plugins.html

В Airflow встроен простой менеджер плагинов, который может интегрировать внешние функции в свое ядро, просто перетаскивая файлы в папку $ AIRFLOW_HOME / plugins.Модули python в папке плагинов импортируются, а хуки, операторы, датчики, макросы, исполнители и веб-представления интегрируются в основные коллекции Airflow и становятся доступными для использования.

Посмотрите примеры здесь: https://github.com/airflow-plugins