Я бы так и сделал:
- Создание электронной таблицы Excel из имен файлов
- Создать формулу , которая создает команду копирования с именем файла (см. Ниже)
- Запустите экземпляр Amazon EC2 Linux в том же регионе, что и корзина.
t2.micro включен в бесплатный уровень, но имеет относительно небольшую пропускную способность сети. Я бы потратил на t2.large, но запустил бы его как экземпляр Spot, и вы заплатите всего несколько центов. Это зависит от того, хотите ли вы сэкономить время или сэкономить несколько центов.
- Подключитесь к экземпляру EC2 и вставьте команды из Excel
- По окончании прекратить экземпляр EC2 (он оплачивается в секунду)
Команда, которую вы хотите в Excel:
wget <URL>; aws s3 cp <filename> s3://my-bucket/<filename>; rm <filename>;
При запуске экземпляра EC2 также назначьте ему роль IAM с правами доступа к корзине S3.
Тест завершен путем копирования первых нескольких файлов, по одному за раз. Если это выглядит хорошо, вставляйте большие партии по 100 штук за раз. Это может показаться примитивным, но это быстрый способ скопировать столько файлов. Я бы сделал это по-другому, если бы это было более 1000 файлов.