Загрузка огромного количества файлов в S3 очень медленная

Question

Я загружаю 1,8 ГБ данных с 500000 небольших файлов XML в корзину S3. Когда я загружаю его с локального компьютера, это занимает очень и очень много времени - 7 часов.

А когда я заархивировал и загрузил, это заняло 5 минут.

Но моя проблема в том, что я не могу заархивировать его просто потому, что позже мне нужно что-то в AWS, чтобы разархивировать.

Так есть ли способ ускорить загрузку? Имена файлов отличаются не порядковым номером. Ускорение передачи включено.

Подскажите, пожалуйста, как мне это оптимизировать?

Answer 1

Вы всегда можете загрузить zip-файл в экземпляр EC2, затем разархивировать его и синхронизировать с корзиной S3.

Роль экземпляра должна иметь разрешения для помещения объектов в S3, чтобы это работало.

Я также предлагаю вам изучить конфигурацию конечной точки шлюза S3 VPC, прежде чем делать это: https://docs.aws.amazon.com/vpc/latest/userguide/vpc-endpoints.html