GCP, Композитор, Воздушный поток, Операторы

Question

Поскольку Google Cloud Composer использует Cloud Storage для хранения DAG-файлов Apache Airflow.Однако где хранятся операторы?Я получаю сообщение об ошибке, как показано ниже:

Сломанный DAG: [/home/airflow/gcs/dags/example_pubsub_flow.py] не может импортировать имя PubSubSubscriptionCreateOperator.

Answer 1

очевидно, согласно следующему сообщению в этом сообщении в списке Google Composer Group * , для установки в качестве плагина свой вклад не требуется для добавления шаблона плагина.Достаточно зарегистрировать плагины с помощью этой команды:

gcloud beta composer environments storage plugins import --environment dw --location us-central1 --source=custom_operators.py

Подробнее см. здесь .

Недостатком является то, что если ваш оператор contrib использует другие, то у вас будуттакже скопировать их и изменить способ их импорта в python, используя:

from my_custom_operator import MyCustomOperator

вместо:

from airflow.contrib.operators.my_custom_operator import MyCustomOperator

Answer 2

Этот оператор был добавлен в Воздушный поток 1.10.0 . На сегодняшний день Cloud Composer по-прежнему использует Airflow 1.9.0 , поэтому этот оператор пока недоступен. Вы можете добавить это как плагин.