Как настроить учетные данные AWS с помощью CLI Google Cloud Composer?

Question

Я хочу получить доступ к сервисам AWS из моей системы воздушных потоков, управляемой облачным композитором. Я не хочу устанавливать это с помощью интерфейса воздушного потока - я хочу сделать это с помощью Google Cloud SDK, который служит CLI.

Является ли мой единственный вариант здесь использовать параметр CLI env-variables? Если да, то достаточно ли мне просто установить переменные AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY env? Или мне нужно установить множество переменных подключения, относящихся к воздушному потоку, например, для с3 AIRFLOW_CONN_S3_DEFAULT?

Answer 1

Вы можете туннелировать команды воздушного потока через CLI Cloud Composer SDK, используя gcloud composer run . Например:

gcloud config set composer/location {your-env-location}
gcloud composer environments run {your-env-name} connections -- -a --conn_id your-aws-id --conn_type aws {any other connection details}

Таким образом, если вы хотите обновить aws_default соединение в среде с именем my-env, сначала удалите существующую запись (этот connection_id предварительно заполняется потоком воздуха) с помощью следующей команды:

gcloud composer environments run my-env connections -- -d --conn_id aws_default

, а затем добавьте свои учетные данные следующим образом:

gcloud composer environments run data-lake connections -- -a --conn_id aws_default --conn_type aws --conn_extra '{"region_name": "us-east-1", "aws_access_key_id":"YOUR_ACCESS_KEY_HERE", "aws_secret_access_key": "YOUR_SECRET_KEY_HERE"}'

Конечно, вы захотите обновить название региона AWS и кредиты соответственно.