Amazon эквивалент службы хранения Google

Question

У меня в GCP есть корзина с миллионами файлов по 3 КБ, и я хочу скопировать их в корзину S3. Я знаю, что в Google есть супер быстрая служба передачи, однако я не могу использовать это решение для передачи данных обратно на S3.

Из-за количества объектов, выполнение простого gsutil -m rsync gs://mybucket s3://mybucket может не справиться с работой, потому что для передачи всего потребуется не менее недели.

Есть ли более быстрое решение, чем это?

Answer 1

У нас та же проблема с отправкой небольших файлов на S3. Сжатие и хранение его обратно делает то же самое. Это ограничения, установленные для вашей учетной записи.

Как уже упоминалось в документации, вам необходимо открыть заявку в службу поддержки, чтобы увеличить свои лимиты перед отправкой пакета запросов.

https://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html

Здесь НЕ имеет значения размер файла или размер всех объектов. Это количество файлов у вас есть проблема.

Надеюсь, это поможет.

Answer 2

Лично я думаю, что главная проблема, с которой вы столкнетесь, - это не столько вход тарифа на сервис Amazon S3, сколько, скорее, сетевая выход тариф из сети Google. Даже если вы включили службу ускорения передачи S3, скорость выхода в сеть Google все равно будет ограничена.

Существуют и другие службы, которые вы можете настроить, которые могут помочь ускорить процесс. Возможно, посмотрите на одно из решений межсоединений , которые позволяют вам устанавливать быстрые соединения между сетями. Самым простым решением для установки является решение Cloud VPN , которое может позволить вам установить быструю восходящую линию связи между AWS и сетью Google (1,5-3 Гбит / с для каждого туннеля).

В противном случае, исходя из ваших требований к данным, передача 3000 ГБ не является ужасным объемом данных, а настройка облачного сервера для передачи данных в течение недели не так уж плоха. Возможно, вы обнаружите, что к тому времени, когда вы настроите другое решение, вам, во-первых, будет проще просто раскрутить машину и дать ей поработать неделю.

Answer 3

На стороне AWS вы можете посмотреть, поможет ли S3 Transfer Acceleration . Существуют особые требования для его включения и присвоения имен. Вы хотели бы убедиться, что корзина находится в месте, близком к тому, где хранятся данные, но это может помочь немного ускорить процесс.