Лучший способ передачи данных с локального на AWS

Question

У меня есть требование для передачи данных (один раз) из Prem в AWS S3. Размер данных составляет около 1 ТБ. Я проходил через AWS Datasync, Snowball и т. Д. Но эти управляемые сервисы лучше переносить, если данные находятся в петабайтах. Может кто-нибудь предложить мне лучший способ безопасной передачи данных экономически эффективным способом

Answer 1

Вы можете использовать Интерфейс командной строки AWS (CLI) . Эта команда скопирует данные в Amazon S3:

aws s3 sync c:/MyDir s3://my-bucket/

Если произошел сбой в сети или истекло время ожидания, просто повторите команду. Он копирует только файлы, которых еще нет в месте назначения.

Время будет зависеть от скорости вашего интернет-соединения.

Вы также можете рассмотреть возможность использования AWS Snowball , который представляет собой аппаратное обеспечение, отправляемое в ваше местоположение. Он может содержать 50 ТБ данных и стоит 200 долларов США.

Answer 2

Если у вас нет особых требований (кроме того факта, что он должен быть зашифрован и размер файла составляет 1 ТБ), я бы посоветовал вам придерживаться чего-то простого и простого. S3 поддерживает размер объекта 5 ТБ, чтобы не было проблем. Я не знаю, состоят ли ваши данные из множества небольших файлов или из одного большого файла (или zip), но по сути это все равно. С конечными точками или всеми зашифрованными у вас должно быть все в порядке (если вы беспокоитесь, вы можете зашифровать свои файлы раньше, и они будут зашифрованы при хранении (если что-то резервное копирование). Чтобы добраться до сути, вы можете использовать инструменты API для инструменты для переноса или просто файловый проводник, которые также имеют возможность подключения к S3 (например, https://www.cloudberrylab.com/explorer/amazon-s3.aspx). какой-то другой момент: экономичность хранения / передачи зависит от того, как часто вам нужны данные, будь то резервное копирование или просто в случае. архивирование на ледник намного дешевле.

Answer 3

1 ТБ большой, но он не настолько большой, что вам понадобятся недели, чтобы перенести ваши данные на S3.Однако, если у вас нет хорошей скорости загрузки, используйте Snowball .

https://aws.amazon.com/snowball/

Snowball - это устройство, поставляемое вам, которое может вместить до 100 ТБ.Вы загружаете на него свои данные и отправляете их обратно в AWS, а они загружают их в корзину S3, указанную вами при загрузке данных.