Рекурсивно ПОЛУЧИТЬ из IP белого списка S3 ведро?

Question

У меня есть корзина с политикой белого списка IP, я хотел бы иметь возможность s3 cp или рекурсивно wget все в «подпапке» этой корзины.Есть ли способ сделать это?Wget отлично работает с одним файлом.

То, что я пробовал:

1. AWS cp без профиля, настроенного на белый список IP-адресов, это не удается с403.

2. Рекурсивный wget, который завершается неудачно с 403.

3. Wget с подстановочным знаком, на самом деле это не вещь в HTTP.

Белый список IP очень полезен, было бы неплохо получить целые «папки», а не только отдельные объекты.

Answer 1

Очевидно, в моем случае проблема заключалась в том, что мы занесены в белый список на GET, но не в LIST, если кто-то столкнется с этой проблемой, убедитесь, что у вас есть оба.

CLI AWS для выполнения рекурсивного GETСначала «тихо» перечисляются объекты в ведре.Вот почему мы смогли увидеть один элемент, но не GET, кратный S3.

Второе, с чем я столкнулся, было то, что вам нужны действительные учетные данные (поэтому не пустая строка и т. Д.), Как указывает @ john-rotensteinв своем комментарии к своему ответу.

Answer 2

Вы можете использовать Интерфейс командной строки AWS (CLI) для копирования файлов:

aws s3 cp --recursive s3://bucket/path/* localdir

или

aws s3 sync s3://bucket/path/ localdir

Для этого потребуетсянабор учетных данных AWS, поскольку вызовы API проходят проверку подлинности, а ваш метод wget не проверен.Если политика сегмента предоставляет общедоступный доступ (список и получение) к сегменту, то для учетных данных на самом деле не требуются дополнительные разрешения.