4 ТБ = 4 194 304 мегабайта
70 мбит / с ~ = 8,75 мегабайт / с (приблизительно, потому что будут служебные сигналы сети)
Деление результатов за 479 349 секунд или 5,55 дней
Увеличение скорости ссылки, безусловно, улучшит это, но вы, вероятно, обнаружите, что вы получаете больше улучшений, используя сжатие (CSV подразумевает текст с числовым смещением, которое сжимается очень хорошо).
Вы не говорите, что вы будете загружать, или как вы будете использовать результаты. Если вы загружаете на S3, я бы предложил использовать GZip (или другой формат сжатия), чтобы сжать файлы перед загрузкой, а затем позволить потребителям распаковать их по мере необходимости. Если вы загружаете в EFS, я бы создал экземпляр EC2 для получения файлов и использовал rsync
с опцией -z
(которая сжимает по проводам, но оставляет файлы без сжатия в месте назначения). Конечно, вы все равно можете предпочесть предварительное сжатие файлов, чтобы сэкономить на долгосрочном хранении.