Пользовательский оператор воздушного потока как «плагин» или прямой импорт из каталога dags - PullRequest
0 голосов
/ 04 июня 2019

Я написал пользовательский оператор (называемый MyOperator), который я хотел бы использовать для создания экземпляров задач в нескольких группах обеспечения доступности баз данных. Для этого я помещаю пакет в airflow/dags/operators и выполняю относительный импорт в каждом файле определения dag.

Однако в официальной документации по воздушным потокам рекомендуется использовать их интерфейс плагина , что позволяет оператору импортировать из airflow.operators.my_operator вместо использования относительного импорта.

Является ли исключение относительного импорта единственным преимуществом использования подключаемых модулей воздушного потока? Есть ли еще какая-то причина, по которой я должен использовать "официальный" подход?

Поскольку плагины воздушного потока загружаются при запуске планировщика, требуется перезапустить планировщик, чтобы отразить любые изменения, сделанные в MyOperator. Если нет никаких явных преимуществ использования официального интерфейса плагина, я буду придерживаться относительного импорта.

...