Как переместить много предметов из одного ведра S3 Amazon в другое?

Question

У меня 2 ведра S3 Amazon

• Старые вещи
• Новые вещи

и я хочу переместить список из 10К или около того элементов из корзины Old Stuff (которая является просто подмножеством данных в этой корзине) в корзину New Stuff.

Я не уверен, что лучший способ сделать это.

Я думал об использовании их REST API , но ничего не выделялось, что могло бы сделать это. Во-вторых, я не уверен, что их API будет обрабатывать массовые перемещения, поэтому мне потребуются некоторые предложения о том, как лучше всего выполнить 10K нечетных запросов REST API ...

Любые примеры кода должны быть предпочтительнее в .NET, пожалуйста.

Наконец, если кто-то предлагает для этого библиотеку с открытым исходным кодом ... могут ли они объяснить, обрабатывают ли метод (ы) массовые запросы ... и если нет ... как я могу обработать столько запросов за короткое время.

Answer 1

Это только один ход?

Почему бы не использовать инструмент с графическим интерфейсом, такой как Cloudberry Explorer или BucketExplorer . Я почти уверен, что оба могут выполнять параллельные операции.

Если вы хотите или хотите сделать это программно, вы можете использовать метод CopyObject AWS .NET SDK для копирования файлов между сегментами. Затем удалите исходный файл, чтобы завершить перемещение. Вы можете заключить это в Parallel.For или любую другую встроенную библиотеку для параллельных / асинхронных операций. См. Task Parallel Library .

Полагаю, ничто не мешает вам использовать эти библиотеки для параллельного выполнения нескольких запросов к REST API.