Google Cloud Composer - облачная функция должна быть зависимой от другой облачной функции. - PullRequest
0 голосов
/ 27 апреля 2020

У меня есть два сценария, которые я хочу запустить, function_1 и function_2, где function_2 должен запускаться только после успешного выполнения function_1.

Для этого на GCP I преобразовать каждый скрипт в облачную функцию, которую я установил для запуска в Pub / Sub, как это стандартно в GCP. Допустим, я хочу запланировать эти функции, используя Composer. Поскольку нет оператора для выполнения облачной функции, я должен использовать оператор Pub / Sub для отправки сообщения в мой topi c, который, в свою очередь, выполнит функцию.

Вот моя проблема: возможно ли запустить триггер для function_2 в Composer только после успешного запуска function_1? Поскольку моей задачей DAG является не выполнение функции, а отправка сообщения в Pub / Sub (который, в свою очередь, запускает функцию), я не понимаю, как можно запустить function_2 после того, как функция upstream полностью завершена выполняется вместо отправки сообщения Pub / Sub.

1 Ответ

0 голосов
/ 28 апреля 2020

В Airflow 1.10.1 версии Google Cloud Functions Operator была выпущена, это решит проблему, нет необходимости использовать Pub / Sub.

Предположим, что вы используете

Ссылка:

https://airflow.apache.org/docs/stable/howto/operator/gcp/function.html

https://airflow.apache.org/docs/stable/_api/airflow/operators/http_operator/index.html#module -airflow.operators.http_operator

...