S3 Batch: время для копирования 1м объектов между корзинами в одном регионе?

Question

Мне нужно скопировать 92 миллиона объектов из корзины A в корзину B в той же области AWS. Я знаю, что AWS на создание отчета об инвентаризации S3 уходит 48 часов, так что ... мне интересно, сколько времени потребуется, чтобы прочитать манифест из 92 миллионов объектов и скопировать их в другое ведро. Мои объектные файлы имеют средний размер 512 КБ.

Answer 1

Один из вариантов - использовать S3DistCp - Amazon EMR , который запускает множество команд параллельного копирования из кластера Had oop.

Это требует немалых накладных расходов (при использовании Amazon EMR), но однажды он может довольно быстро копировать файлы, генерируя параллельные запросы API для копирования объектов.

Если вы собираетесь сами инициировать копирование, то вы можете попробовать нечто подобное, чтобы сгенерировать много параллельные запросы на копирование, а не просто последовательный цикл по списку.