Триггер DAG Cloud Composer с сообщением Pub / Sub

Question

Я пытаюсь создать DAG Cloud Composer для запуска через сообщение Pub / Sub. Существует следующий пример от Google, который вызывает DAG каждый раз, когда происходит изменение в сегменте облачного хранилища: https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf

Однако в начале они говорят you can trigger DAGs in response to events, such as a change in a Cloud Storage bucket or a message pushed to Cloud Pub/Sub. Я потратил много времени, пытаясь выяснить, как это можно сделать, но безрезультатно.

Не могли бы вы помочь или дать мне несколько указаний? Спасибо!

Answer 1

Существует два способа вызвать группу DAG по событиям Pub / Sub.

1. Вы можете поместить PubSubPullSensor в начале вашей группы DAG. Ваша группа обеспечения доступности баз данных будет запускаться каждый раз, когда PubSubPullSensor может получить сообщение Pub / Sub. И он выполнит остальные задачи в вашей группе обеспечения доступности баз данных.
2. Вы также можете создать облачную функцию , которая действует как триггер Pub / Sub . И поместите логику запуска DAG Composer внутри триггера Облачной функции. Когда сообщение публикуется в теме Pub / Sub, облачная функция должна иметь возможность запускать DAG Composer.

Answer 2

Чтобы расширить общедоступную страницу документации, которую вы уже разместили, вы можете настроить функцию Cloud для запуска при каждой публикации сообщения в разделе Cloud Pub / Sub. Подробнее об этом можно узнать на другой общедоступной странице документации .

Чтобы прикрепить функцию к теме, установите флаг --trigger-topic при ее развертывании:

gcloud functions deploy $FUNCTION_NAME --runtime $RUNTIME --trigger-topic $TOPIC_NAME