Как l oop через корзину S3, чтобы скопировать определенный список папок из корзины S3 на локальный сервер - PullRequest
0 голосов
/ 12 января 2020
Have over 2000+ folders reside in S3 bucket. I do not want to copy all folders to my local server. 
Is there a way or a script to loop through to copy 200 folders out of 2000+ folders from that particular bucket. for eg.

Необходимо скопировать более 200-400 папок из 2000+ из корзины s3, есть ли захват группы регулярных выражений или скрипт для автоматизации копирования определенного списка папок

input.....

faob/
halb/
mcgb/
mgvb/
nxhb/
ouqb/
pdyb/
qwdb/

output...

ouqb/
pdyb/
qwdb/

aws s3 cp s3://s3-bucket/* /tmp/

Ответы [ 2 ]

0 голосов
/ 13 января 2020

Кажется, что это работает:

aws s3 cp --recursive s3://my-bucket /tmp/ --exclude "*" --include "*b/*"

Для получения информации об использовании подстановочных знаков в aws s3 cp см .: Использование фильтров исключения и включения

0 голосов
/ 12 января 2020

Да, вы можете использовать несколько параметров --include для указания нескольких мест ввода.

aws s3 cp s3://bucket-name /local/folder --recursive --exclude "*" --include "faob/*" --include "halb/*" --include "mcgb/*"

Но у вас не может быть нескольких папок назначения.

надеюсь, это поможет.

...