Создание групп DAG воздушного потока в GCP Composer

Question

Я только что узнал о GCP Composer и пытаюсь переместить группы обеспечения доступности баз данных из моего локального экземпляра воздушного потока в облако, и у меня возникла пара вопросов о переходе.

1. В локальном примере я использовал HiveOperator, чтобы прочитать данные из улья, создать таблицы и записать их обратно в куст.Если бы мне пришлось сделать это в GCP, как это было бы возможно?Должен ли я загружать свои данные в Google Bucket и работает ли HiveOperator в GCP?

2. У меня есть группа обеспечения доступности баз данных, которая использует sensor, чтобы проверить, завершена ли другая группа доступности базы данных, возможно ли это?на композитор?

Answer 1

Композитор имеет хранилище соединений.Смотрите меню Админ -> Соединение.Проверьте тип подключения.

Доступны датчики.

Answer 2

Да, Cloud Composer - это просто управляемый Apache Airflow, поэтому вы можете сделать это.

Убедитесь, что вы используете ту же версию Airflow, которую вы использовали локально.Cloud Composer в настоящее время поддерживает Airflow 1.9.0 и 1.10.0.