Как автоматически создавать резервные копии больших объемов данных из AWS S3 в Microsoft Azure

Question

Мы используем AWS S3 для хранения и хранения нашего контента.Мы хотели бы сделать резервную копию этих данных в хранилище Microsoft Azure Archive.Я пытался найти учебник о том, как мы можем достичь этого, но некоторые ответы, которые я нашел, связаны с просроченными ресурсами.

У нас уже есть более 30 ТБ хранилища, и мы увеличиваем его примерно на 1 ТБ каждые несколько дней, и в будущем мы можем использовать более 1 ТБ в день.

Как мы можем автоматизировать репликацию данных из S3 в Azure в таком масштабе?

Answer 1

Существует два возможных способа: передать данные из S3 в хранилище Azure: с помощью фабрики данных Azure полную документацию можно найти здесь: https://docs.microsoft.com/en-us/azure/data-factory/connector-amazon-simple-storage-service

"Поддерживаемые возможности Вы можетескопируйте данные Amazon S3 в любое поддерживаемое хранилище данных приемника. Список хранилищ данных, которые поддерживаются как источники или приемники операцией копирования, см. в таблице поддерживаемых хранилищ данных. В частности, этот соединитель Amazon S3 поддерживает копирование файлов «как есть» или анализфайлы с поддерживаемыми форматами файлов и кодеками сжатия. "

Или вы можете использовать AzureCopy: https://github.com/kpfaulkner/azurecopy (не продукт Microsoft) Поскольку вы упомянули, это большой объем данныхПервый вариант может быть лучшим.Возможно, вам также придется вручную переключить уровень доступа на архивирование при передаче.