У меня ~ 2 миллиона 2 МБ файлов в S3.
Каков наилучший способ одновременной потоковой передачи этих файлов в экземпляр EC2 в python?
Будет ли проблемой создание 2 миллионов одновременных TCP-соединений в одном экземпляре?
Насколько я понимаю, каждое TCP-соединение может занимать 32 КБ памяти для структур данных состояния и буферов TCP, и для установки каждого соединения требуется ~ 10 мс.
Таким образом, 2 миллиона соединений занимают 64 ГБ памяти ,
Если у меня есть экземпляр с достаточным объемом памяти, с какими еще проблемами я могу столкнуться? Ограничение в дескрипторах файлов ОС?