Как записать в каталог dags веб-сервер Cloud Composer?

Question

Я пишу плагин Cloud Composer, и мне нужно создать DAG во время выполнения.Как я могу создать файл DAG с веб-сервера или как получить доступ к идентификатору корзины из кода плагина (чтобы я мог использовать клиент gcs и просто загрузить DAG)?Я попробовал код ниже, и он не работает, я не получаю никаких исключений, но также не вижу результатов:

dag_path = os.path.join(settings.DAGS_FOLDER, dag_id + '.py')
with open(dag_path, 'w') as dag:
    dag.write(result)

Answer 1

Вы можете использовать Переменные среды , или вы можете использовать API, предоставленные GCloud SDK .

gcloud composer environments describe --format=json --project=<project-name> --location=<region> <cluster-name>

Это вернет деталиоблачного композитора кластера.Он будет иметь местоположение метки под ключом dagGcsPrefix

Формат dagGcsPrefix будет gs://<GCSBucket>/dags

Answer 2

Возможное решение - прочитать идентификатор корзины из Переменная env Cloud Composer