Повышение скорости передачи данных на Amazon EC2

Question

У меня том EBS объемом 1 ГБ, подключенный к экземпляру EC2, я копирую 600 МБ двоичных данных с локального жесткого диска (через соединение RDS), и в окнах процесса копирования отображается 10 часов осталось .Хотя у меня высокоскоростное соединение (100 + Мбит / с)

Независимо от объема данных, скорость передачи данных составляет 1 мин / МБ (т.е. 16 Кбит / с)
Я колеблюсь междучтение Moby Dick перед моей рабочей станцией или просто выходной.

Существуют ли разумные варианты для ускорения этой скорости передачи?
(в идеале 512 Кбит / с наминимум)

Я очень открыт для ЛЮБОГО решения, чтобы сократить время загрузки / выгрузки в / из и экземпляр EC2.

Заранее спасибо.

РЕДАКТИРОВАТЬ:
Я только что наткнулся на [Amazon Export / Import Service] [1] " AWS Import / Export ускоряет передачу больших объемов данных между облаком AWS и переносными устройствами хранения, которые вы отправляете нам"
Под" почтой нам "они буквально означают, что вы" материально "отправляете свое устройство хранения данных в Amazon.
Не говорите, что это Stoneage, это КРУПНАЯ новая технология, чувак!: -)

EDIT2:
Это звучало замечательно: [Aspera for AWs] [2] Но, к сожалению, это слишком дорого;
Специально для Fortune 500 с большими потребностями и большими деньгами.

Answer 1

Иногда, если вы хотите, чтобы что-то было сделано, лучше сделать это самостоятельно: -)

Я не нашел в сети ничего удовлетворительного, поэтому провел вечер, выполняя Полный стендовый тест мой собственный.Я проверил несколько альтернатив / сценариев, и вот результаты:

FTP-сервер, установленный на EC2, был Filezilla Server (правильная конфигурация не очень удобна)Клиент Filezilla не работает. См. этот другой пост
Легенда: [HC] обозначает домашнее подключение (100 Мбит / с)

Пропускная способность загрузки
RDSЗагрузка: 15 Кб / с => Хуже
Загрузка по FTP [FTP-сервер установлен на EC2]: 100 Кб / с
Загрузить вS3 из Консоли управления AWS из HC: 60 Кб / с
Загрузка на S3 с использованием интерфейса консоли AWS из EC2: 145 Кб / с
Загрузка на S3 с использованием Браузер S3 из HC: 120 Кб / с
Загрузка в S3 с использованием Браузер S3 из EC2: 2000 Кб / с

Загрузка полосы пропускания
RDS Загрузка и выгрузка: 15 Кбит / с => Хуже
Загрузка по FTP[FTP Servустановлено на EC2]: 360 Кб / с
Загрузка с S3 Интерфейс консоли AWS с EC2: 350 Кб / с
Загрузка с S3 с использованием Браузер S3: от HC: 380 до 620 Кб / с
Загрузка с S3 с использованием S3 Browser : с EC2: 3000 Кб / с

Выводы:

Итак, на данный момент Amazon S3 в сочетании с браузером S3 дают наилучшие результаты .(Браузер S3 - это всего лишь слой над S3, я не понимаю, почему скорость загрузки лучше)

Однако следует иметь в виду, что FTP-сервер на экземпляре EC2 имеет большое преимущество, заключающееся в сопоставлении напрямую.локальный каталог EC2 в EC2. В отличие от S3, используется только одна передача .Действительно, для S3 требуется 2 передачи: сформировать локальный ресурс на S3 / и с S3 на EC2 и наоборот, в то время как доступ по протоколу FTP обеспечивает непосредственность за счет сокращения циклов передачи.Кроме того, это экономит стоимость S3 Buckets.

Интересно также отметить, что пропускная способность инстанса EC2 действительно высока.Поэтому гораздо интереснее, разумеется, использовать протоколы, которые действительно используют его преимущества, такие как S3 или FTP, а не RDS.

Я надеюсь, что это будет полезно для других людей, сталкивающихся с той же проблемой, исэкономить им драгоценное время.

Answer 2

Используйте Aspera или Tsunami UDP и перенесите 600 МБ в свою инфраструктуру Amazon EC2 (поле перехода).Затем внутренне скопируйте из Jumpbox в Windows EC2.Мой бенчмарк показывает, что UDP цунами довольно быстрый по сравнению с традиционными режимами.