Как бы вы записали файлы в s3 параллельно?т.е. не сериализовано по одному

Question

У меня есть 10K файлов для записи в S3 каждый час, как я могу сделать это параллельно?

Answer 1

Используйте несколько потоков или попробуйте EventMachine с драйвером S3. Вам нужна пропускная способность около 3 файлов в секунду, что в зависимости от размера файла не должно быть таким сложным. Убедитесь, что вы используете HTTP keep-alive, чтобы не переподключаться между каждым файлом.