Предпочтительное подключение к Интернету для передачи файлов 4 ТБ CSV в Amazon (AWS) - PullRequest
0 голосов
/ 20 марта 2019

Мне нужно перенести кучу CSV-файлов общим объемом около 4 ТБ в AWS.Какое предпочтительное интернет-соединение от моего интернет-провайдера, которое может обработать эту передачу или ссылку, не играет никакой роли.Моя ссылка 70 Мбит / с Загрузить / Загрузить Выделенный.Этого достаточно или мне нужно увеличить скорость соединения?

Thnx.

1 Ответ

1 голос
/ 20 марта 2019

4 ТБ = 4 194 304 мегабайта

70 мбит / с ~ = 8,75 мегабайт / с (приблизительно, потому что будут служебные сигналы сети)

Деление результатов за 479 349 секунд или 5,55 дней

Увеличение скорости ссылки, безусловно, улучшит это, но вы, вероятно, обнаружите, что вы получаете больше улучшений, используя сжатие (CSV подразумевает текст с числовым смещением, которое сжимается очень хорошо).

Вы не говорите, что вы будете загружать, или как вы будете использовать результаты. Если вы загружаете на S3, я бы предложил использовать GZip (или другой формат сжатия), чтобы сжать файлы перед загрузкой, а затем позволить потребителям распаковать их по мере необходимости. Если вы загружаете в EFS, я бы создал экземпляр EC2 для получения файлов и использовал rsync с опцией -z (которая сжимает по проводам, но оставляет файлы без сжатия в месте назначения). Конечно, вы все равно можете предпочесть предварительное сжатие файлов, чтобы сэкономить на долгосрочном хранении.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...