Облачные функции Google - как пройти аутентификацию в корзине AWS S3?

Question

Я пытаюсь получить облачную функцию Google в Python 3.7, чтобы взять файл из облачного хранилища Google и загрузить его в AWS S3.В командной строке я бы аутентифицировался с помощью awscli, а затем использовал команду gsutil cp для копирования файла.Я перевел этот процесс на python как:

import subprocess
def GCS_to_s3(arg1, arg2):
    subprocess.call(["aws configure set aws_access_key_id AKIA********"], shell=True)
    subprocess.call(["aws configure set aws_secret_access_key EgkjntEFFDVej"], shell=True)
    subprocess.call(["gsutil cp gs://test_bucket/gcs_test.csv s3://mybucket)"], shell=True)`

Трекстр require.txt:

awscli google-cloud-storage

Эта функция успешно разворачивается и работает успешно, но выводне отображается в корзине S3.

Как лучше написать такую ​​функцию?

Answer 1

Возможно, вы захотите использовать вместо этого пакет Python boto3, поскольку инструменты командной строки AWS недоступны или не устанавливаются для облачных функций. Существует также несколько способов настройки учетных данных .