Настройка ведра композитора (воздушного потока) с помощью gcloud CLI

Question

Я создал среду композитора с помощью интерфейса консоли, а затем установил три переменные с помощью cli (используя примеры из документа QuickStart):

gcloud composer environments run etl --location europe-west1 variables -- --set gcp_project projectname
gcloud composer environments run etl --location europe-west1 variables -- --set gcs_bucket gs://bucketname
gcloud composer environments run etl --location europe-west1 variables -- --set gce_zone europe-west1-b

Это не устанавливает область дляпо какой-то причине, но все три переменные появляются в Admin > Variables

Я надеялся объединить все это в один шаг, и установить компоновщик также - поэтому построил следующую команду CLI:

gcloud composer environments create etl --location=europe-west1 --env-variables=gcp_project=projectname,gcs_bucket=gs://bucketname,gce_zone=europe-west1-b --service-account=serviceemail --zone=europe-west1-b

Но это не устанавливает интервал и даже не создает переменные.

Как запустить среду композитора из CLI с заданным именем сегмента и переменными?

Answer 1

Composer не поддерживает предоставленную пользователем корзину GCS, каждая вновь созданная среда поставляется со своей собственной корзиной GCS.