Автоматически синхронизировать два сегмента Amazon S3, кроме s3cmd? - PullRequest
Новая
       14

Автоматически синхронизировать два сегмента Amazon S3, кроме s3cmd?

6 голосов
/ 19 сентября 2011

Есть ли другой автоматизированный способ синхронизации двух сегментов Amazon S3 помимо использования s3cmd?Может быть, у Amazon есть это в качестве опции?Среда Linux, и каждый день я хотел бы синхронизировать новые и удаленные файлы в другое ведро.Я ненавижу мысль о хранении всех яиц в одной корзине.

Ответы [ 4 ]

12 голосов
/ 30 октября 2013

Вы можете использовать стандартный Amazon CLI для синхронизации.Вам просто нужно сделать что-то вроде: 

aws s3 sync s3://bucket1/folder1 s3://bucket2/folder2

http://aws.amazon.com/cli/

4 голосов
/ 29 февраля 2012

Я ищу что-то подобное, и есть несколько вариантов:

  1. Коммерческие приложения, такие как: s3RSync . Кроме того, CloudBerry для S3 предоставляет расширения Powershell для Windows, которые можно использовать для создания сценариев, но я знаю, что вы используете * nix.
  2. AWS API + (Любимый язык) + Cron. (выслушай меня). Чтобы создать что-то для копирования и сравнения файлов, потребовался бы достаточно опытный человек, не имеющий опыта работы с библиотеками AWS (используя функцию ETag клавиш s3). Просто предоставьте исходное / целевое ведро, кредиты, итерирование по ключам и введите собственную команду «Копировать» в AWS. Я использовал Java. Если вы используете Python и Cron, вы можете быстро избавиться от полезного инструмента.

Я все еще ищу что-то уже построенное с открытым исходным кодом или бесплатно. Но № 2 на самом деле не очень сложная задача.

РЕДАКТИРОВАТЬ : Я вернулся к этому посту и понял, что в настоящее время Attunity CloudBeam также является коммерческим решением многих людей.

2 голосов
/ 08 сентября 2015

Теперь можно реплицировать объекты между корзинами в двух разных регионах с помощью консоли AWS.

Официальное объявление в блоге AWS объясняет эту функцию.

1 голос
/ 07 декабря 2011

S3 buckets! = Корзины

Со своего сайта :

Надежность и надежность данных

Amazon S3 обеспечивает очень надежное хранилищеинфраструктура, предназначенная для хранения критически важных и первичных данных.Объекты избыточно хранятся на нескольких устройствах на нескольких объектах в регионе Amazon S3.Чтобы обеспечить долговечность, операции Amazon S3 PUT и COPY синхронно сохраняют ваши данные на нескольких объектах перед возвратом УСПЕХА.После хранения Amazon S3 поддерживает долговечность ваших объектов, быстро обнаруживая и исправляя любую потерянную избыточность.Amazon S3 также регулярно проверяет целостность данных, хранящихся с использованием контрольных сумм.Если обнаружено повреждение, оно восстанавливается с использованием избыточных данных.Кроме того, Amazon S3 вычисляет контрольные суммы для всего сетевого трафика для обнаружения повреждения пакетов данных при хранении или извлечении данных.

Стандартное хранилище Amazon S3:

  • При поддержке службы Amazon S3Соглашение об уровне.
  • Предназначен для обеспечения устойчивости на 99,999999999% и доступности объектов на 99,99% в течение определенного года.
  • Предназначен для поддержки одновременной потери данных на двух объектах.

Amazon S3 обеспечивает дополнительную защиту с помощью контроля версий.Вы можете использовать управление версиями для сохранения, извлечения и восстановления каждой версии каждого объекта, хранящегося в вашей корзине Amazon S3.Это позволяет легко восстанавливаться как от непреднамеренных действий пользователя, так и от сбоев приложения.По умолчанию запросы извлекают самую последнюю написанную версию.Старые версии объекта можно получить, указав версию в запросе.Нормы хранилища применяются для каждой сохраненной версии.

Это очень надежно.

...