Копирование файлов S3 через учетную запись AWS с использованием s3-dist-cp

Question

У меня есть требование, где мне нужно скопировать файлы из одного сегмента S3 в другой сегмент S3. Эти сегменты присутствуют в разных аккаунтах AWS. Я попытался с помощью команды синхронизации S3. Но для этого места назначения пользователю IAM должен быть предоставлен доступ для чтения в исходной корзине. Я не использую эту команду, потому что у меня нет одного и того же пользователя IAM с доступом к обеим учетным записям. На данный момент существует два пользователя AIM, по одному на каждого.

Можно ли в любом случае использовать команду s3-dist-cp для этого требования?

Answer 1

На момент написания этой статьи вы не можете настроить две разные клавиши доступа для двух разных сегментов.

Вы можете настроить одного и того же пользователя IAM для разных учетных записей и разрешить им читать из одной и записывать в другую. Роли IAM могут сделать это здесь.

Если вы не хотите использовать одного и того же пользователя IAM в разных учетных записях, скопируйте его в локальный hdf-файл и вернитесь в целевое хранилище.

hadoop distcp -Dfs.s3a.awsAccessKeyId = -Dfs.s3a.awsSecretAccessKey = s3a: // sourcebucket hdfs: // tempcopy /

hadoop distcp -Dfs.s3a.awsAccessKeyId = -Dfs.s3a.awsSecretAccessKey = hdfs: // tempcopy / s3a: // destbucket

Надеюсь, это поможет.