Каков наилучший способ скопировать 100 ГБ данных между двумя томами AWS?

Question

У меня есть два тома, подключенных к одному и тому же экземпляру, и требуется 100 часов для передачи 100 ГБ из одного в другой с помощью Linux Linux.

Предполагается, что экземпляр c5.large использует расширенную сетевую архитектуру и имеет сетьскорость 0,74 гигабит / с = 0,0925 гигабайт в секунду.Так что я ожидал 0,74 / 8 * 60 * 60 = 333 ГБ в час.Я в 15 раз медленнее.

Где я ошибся?Есть ли лучшее решение?

Answer 1

Я использую экземпляры c.large, и скорость на практике составляет от до .74 Гигабит / с, например загрузка из сегментов S3, составляет около .45 Мбит / с, что на порядок меньше, чемэто номинальное значение (для узла c4.xlarge)

Я предлагаю разделить ваши данные на пакеты по 1 ГБ и использовать следующий скрипт для загрузки их в выбранный вами вариант подключенного хранилища.

for i in {part001..part100}
  do
    echo " $i Download"
    fnam=$i.csv.bz2
    wget -O /tmp/data/$fnam http://address/to/the/data/$fnam
    echo "$(date) $i Unzip"
    bunzip2 /tmp/data/$fnam
  done