Параллельная загрузка AWS S3 с использованием golang - PullRequest
Новая
       86

Параллельная загрузка AWS S3 с использованием golang

0 голосов
/ 29 января 2019

Я пишу функцию для загрузки большого файла (9 ГБ) из корзины AWS S3, используя aws-sdk для go.Мне нужно оптимизировать это и быстро загрузить файл.

func DownloadFromS3Bucket(bucket, item, path string) {
    os.Setenv("AWS_ACCESS_KEY_ID", constants.AWS_ACCESS_KEY_ID)
    os.Setenv("AWS_SECRET_ACCESS_KEY", constants.AWS_SECRET_ACCESS_KEY)

    file, err := os.Create(filepath.Join(path, item))
    if err != nil {
        fmt.Printf("Error in downloading from file: %v \n", err)
        os.Exit(1)
    }

    defer file.Close()

    sess, _ := session.NewSession(&aws.Config{
        Region: aws.String(constants.AWS_REGION)},
    )

    downloader := s3manager.NewDownloader(sess)

    numBytes, err := downloader.Download(file,
        &s3.GetObjectInput{
            Bucket: aws.String(bucket),
            Key:    aws.String(item),
        })
    if err != nil {
        fmt.Printf("Error in downloading from file: %v \n", err)
        os.Exit(1)
    }

    fmt.Println("Download completed", file.Name(), numBytes, "bytes")
}

Может кто-нибудь предложить решение для расширения этой функции.

1 Ответ

0 голосов
/ 29 января 2019

Попробуйте изменить свой NewDownLoader () на это.См. https://docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/#NewDownloader

// Create a downloader with the session and custom options
downloader := s3manager.NewDownloader(sess, func(d *s3manager.Downloader) {
     d.PartSize = 64 * 1024 * 1024 // 64MB per part
     d.Concurrency = 4
})

Список опций, которые можно установить с помощью d.в функции можно найти здесь https://docs.aws.amazon.com/sdk-for-go/api/service/s3/s3manager/#Downloader

...