Не могу использовать модуль плагина с Cloud Composer - PullRequest
0 голосов
/ 16 января 2019

Я пытаюсь использовать Cloud Composer для запуска моего рабочего процесса. Я хотел использовать оператор «GoogleCloudStorageToGoogleCloudStorageOperator», который доступен в Apache Airflow v1.10, но не поддерживается в текущем облачном компоновщике (пока он поддерживает только Apache Airflow v1.9 (2019/01/16)).

Следуя указаниям в блоге Google , я сам добавил оператора в среду облачного композитора, и до нескольких дней назад он работал хорошо.

Однако на данный момент, когда я попытался создать новую среду облачного композитора и развернуть ту же группу обеспечения доступности баз данных, которая хорошо работала ранее, я получил следующее сообщение об ошибке в веб-интерфейсе Airflow. И DAG не удалось.

Broken DAG: [/home/airflow/gcs/dags/xxx.py] Relationships can only be set between Operators; received GoogleCloudStorageToGoogleCloudStorageOperator

Я не мог понять, почему произошла эта ошибка, даже если я использовал тот же код и следовал той же процедуре, чтобы развернуть свою группу обеспечения доступности баз данных в облачном компоновщике.

Я благодарен тем, кто дает мне советы по решению этой проблемы.

Ответы [ 2 ]

0 голосов
/ 21 февраля 2019
0 голосов
/ 16 января 2019

Попробуйте DAG на Astronomer Cloud (http://astronomer.io/cloud), бесплатная 30-дневная пробная версия.

Раскрытие: я работаю в Astronomer.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...