Клонирование репозитория из DAG Google Cloud Composer

Question

Как я могу клонировать из хранилища исходных текстов в облаке и отправить код в хранилище в другом проекте GCP из Google Cloud Composer?

Я использовал команду gcloud, чтобы клонировать код в корзину Composer Cloud Storage и получить следующую ошибку:

Клонирование в /home/airflow/gcsfuse/data/source_code'...

ошибка: сбой RPC; результат = 56, код HTTP = 200

роковой: удаленный конец неожиданно зависает

смертельно: рано EOF

неустранимо: сбой индексации

Причина ошибки описана здесь

Можно ли это сделать из среды Composer?

Answer 1

Гарантировали ли вы, что учетная запись службы вашей среды имеет доступ к репо?Кроме того, если вы делаете это в PythonOperator и нажимаете на том же шаге, вы можете вместо этого клонировать в / tmp, так как вам не нужно, чтобы GCS был на пути.