Проблема с нехваткой памяти при использовании Multipart API загрузки AWS s3 - PullRequest
Новая
       34

Проблема с нехваткой памяти при использовании Multipart API загрузки AWS s3

2 голосов
/ 24 июня 2019

Я пытаюсь использовать многосоставную загрузку aws, используя aws SDK и spark, и размер файла составляет около 14 ГБ, но из-за ошибки памяти.В этой строке выдается ошибка: val bytes: Array[Byte] = IOUtils.toByteArray(is)

Я попытался увеличить память водителя и исполнителя до 100 Гс и попробовал несколько других оптимизаций искры.

Ниже приведен код, который я пытаюсьс: - 

val tm = TransferManagerBuilder.standard.withS3Client(s3Client).build
      val fs = FileSystem.get(new Configuration())
      val filePath = new Path(hdfsFilePath)
      val is:InputStream = fs.open(filePath)
      val om = new ObjectMetadata()
      val bytes: Array[Byte] = IOUtils.toByteArray(is)
      om.setContentLength(bytes.length)
      val byteArrayInputStream: ByteArrayInputStream = new ByteArrayInputStream(bytes)
      val request = new PutObjectRequest(bucketName, keyName, byteArrayInputStream, om).withSSEAwsKeyManagementParams(new SSEAwsKeyManagementParams(kmsKey)).withCannedAcl(CannedAccessControlList.BucketOwnerFullControl)
      val upload = tm.upload(request)

И это исключение, которое я получаю: - 

java.lang.OutOfMemoryError
                at java.io.ByteArrayOutputStream.hugeCapacity(ByteArrayOutputStream.java:123)
                at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:117)
                at java.io.ByteArrayOutputStream.ensureCapacity(ByteArrayOutputStream.java:93)
                at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:153)
                at com.amazonaws.util.IOUtils.toByteArray(IOUtils.java:45)

1 Ответ

0 голосов
/ 25 июня 2019

PutObjectRequest принимает File: 

public PutObjectRequest(String bucketName, String key, File file)

Должно работать что-то вроде следующего (хотя я не проверял): 

val result = TransferManagerBuilder.standard.withS3Client(s3Client)
  .build
  .upload(
    new PutObjectRequest(
      bucketName,
      keyName,
      new File(new Path(hdfsFilePath))
    )
    .withSSEAwsKeyManagementParams(new SSEAwsKeyManagementParams(kmsKey))
    .withCannedAcl(CannedAccessControlList.BucketOwnerFullControl)
  )
...