S3: дубликаты ведер

Question

Какой самый простой способ скопировать всю корзину Amazon S3 в корзину другой учетной записи? В идеале мы хотели бы еженедельно дублировать корзину для другой учетной записи в европейском дата-центре Amazon для целей резервного копирования.

Answer 1

Следует учитывать, что вы можете захотеть, чтобы все, что делает это, работало на виртуальной машине Amazon EC2. Если ваша резервная копия работает за пределами облака Amazon, вы платите за передачу данных в обе стороны. Если вы работаете на виртуальной машине EC2, вы не платите плату за пропускную способность (хотя я не уверен, верно ли это при переходе между магазинами в Северной Америке и Европе) - только в течение времени, в течение которого работает экземпляр EC2 (и что бы то ни было затраты на хранение виртуальной машины EC2, которая, я думаю, должна быть минимальной).

Answer 2

Вы можете сделать приложение или службу, ответственные за создание двух экземпляров AmazonS3Client, один для источника, а другой для места назначения, затем источник AmazonS3Client начнет цикл в исходной корзине и потоковые объекты, а также приемник AmazonS3Client выводит их в корзину назначения.

Answer 3

Если вы беспокоитесь об удалении, вам, вероятно, стоит взглянуть на новую функцию S3 Versioning .

Answer 4

Круто, я могу изучить написание сценария для размещения на Ec2. Основной целью резервного копирования является защита от человеческой ошибки на нашей стороне - если пользователь случайно удаляет корзину или что-то в этом роде.

Answer 5

Я подозреваю, что нет "автоматического" способа сделать это. Вам просто нужно написать простое приложение, которое перемещает файлы. В зависимости от того, как вы отслеживаете файлы в S3, вы также можете перемещать только «изменения».

Что касается связанной заметки, я почти уверен, что Amazon выполняет чертовски хорошую работу по резервному копированию данных, поэтому я не думаю, что вам обязательно нужно беспокоиться о потере данных, если только вы не создадите резервную копию в архивных целях или не захотите Защита от случайного удаления файлов.