Есть несколько вещей, которые могут ограничивать поток данных, и у каждого есть свой способ облегчить его:
Возможно, ваша заявка на перевод добавляет дополнительные издержки. Если s3fs слишком медленный, вы можете попробовать другие варианты, такие как вкладка S3 на консоли AWS или такой инструмент, как s3cmd.
Задержка в сети между вашим компьютером и S3 и задержка в ответах на вызовы API могут стать серьезным фактором того, сколько вы можете сделать в одном потоке. Ключом к решению этой проблемы является одновременная загрузка нескольких файлов (десятков).
У вас может быть медленное сетевое соединение между вами и S3, что накладывает ограничение на общую возможную скорость передачи данных. Если вы можете сжать файлы, вы можете загрузить их в сжатой форме во временный экземпляр EC2, а затем распаковать и загрузить из экземпляра на S3.
Моя ставка на номер 2, которую не всегда легко решить, если у вас нет инструментов загрузки, которые будут распараллеливаться для вас.