AmazonS3 putObject с примером длины InputStream - PullRequest
Новая
       33

AmazonS3 putObject с примером длины InputStream

74 голосов
/ 02 декабря 2011

Я загружаю файл на S3 с использованием Java - вот что я получил до сих пор: 

AmazonS3 s3 = new AmazonS3Client(new BasicAWSCredentials("XX","YY"));

List<Bucket> buckets = s3.listBuckets();

s3.putObject(new PutObjectRequest(buckets.get(0).getName(), fileName, stream, new ObjectMetadata()));

Файл загружается, но ПРЕДУПРЕЖДЕНИЕ возникает, когда я не устанавливаю длину содержимого: 

com.amazonaws.services.s3.AmazonS3Client putObject: No content length specified for stream > data.  Stream contents will be buffered in memory and could result in out of memory errors.

Это файл, который я загружаю, а переменная stream представляет собой InputStream, из которого я могу получить байтовый массив, например: IOUtils.toByteArray(stream).

Поэтому, когда я пытаюсь установить длину содержимого и MD5 (взятые из здесь ), вот так: 

// get MD5 base64 hash
MessageDigest messageDigest = MessageDigest.getInstance("MD5");
messageDigest.reset();
messageDigest.update(IOUtils.toByteArray(stream));
byte[] resultByte = messageDigest.digest();
String hashtext = new String(Hex.encodeHex(resultByte));

ObjectMetadata meta = new ObjectMetadata();
meta.setContentLength(IOUtils.toByteArray(stream).length);
meta.setContentMD5(hashtext);

Это приводит к тому, что из S3 возвращается следующая ошибка:

Указанный вами Content-MD5 недействителен.

Что я делаю не так?

Любая помощь приветствуется!

P.S. Я нахожусь в Google App Engine - я не могу записать файл на диск или создать временный файл , потому что AppEngine не поддерживает FileOutputStream.

Ответы [ 8 ]

64 голосов
/ 24 мая 2013

Поскольку на исходный вопрос так и не был дан ответ, и мне пришлось столкнуться с этой же проблемой, решение проблемы MD5 состоит в том, что S3 не хочет, чтобы строка MD5 в шестнадцатеричном коде мы обычно думаем.

Вместо этого я должен был сделать это. 

// content is a passed in InputStream
byte[] resultByte = DigestUtils.md5(content);
String streamMD5 = new String(Base64.encodeBase64(resultByte));
metaData.setContentMD5(streamMD5);

По сути, они хотят получить значение MD5 в виде необработанного байтового массива MD5 в кодировке Base64, а не шестнадцатеричной строки. Когда я переключился на это, он начал работать отлично для меня.

41 голосов
/ 20 июня 2012

Если все, что вы пытаетесь сделать, это решить ошибку длины содержимого из amazon, тогда вы можете просто прочитать байты из входного потока в Long и добавить это к метаданным. 

/*
 * Obtain the Content length of the Input stream for S3 header
 */
try {
    InputStream is = event.getFile().getInputstream();
    contentBytes = IOUtils.toByteArray(is);
} catch (IOException e) {
    System.err.printf("Failed while reading bytes from %s", e.getMessage());
} 

Long contentLength = Long.valueOf(contentBytes.length);

ObjectMetadata metadata = new ObjectMetadata();
metadata.setContentLength(contentLength);

/*
 * Reobtain the tmp uploaded file as input stream
 */
InputStream inputStream = event.getFile().getInputstream();

/*
 * Put the object in S3
 */
try {

    s3client.putObject(new PutObjectRequest(bucketName, keyName, inputStream, metadata));

} catch (AmazonServiceException ase) {
    System.out.println("Error Message:    " + ase.getMessage());
    System.out.println("HTTP Status Code: " + ase.getStatusCode());
    System.out.println("AWS Error Code:   " + ase.getErrorCode());
    System.out.println("Error Type:       " + ase.getErrorType());
    System.out.println("Request ID:       " + ase.getRequestId());
} catch (AmazonClientException ace) {
    System.out.println("Error Message: " + ace.getMessage());
} finally {
    if (inputStream != null) {
        inputStream.close();
    }
}

You 'Мне нужно будет дважды прочитать входной поток, используя этот точный метод, поэтому, если вы загружаете очень большой файл, вам может понадобиться прочитать его один раз в массив, а затем прочитать его оттуда.

27 голосов
/ 04 мая 2015

Для загрузки в S3 SDK есть два метода putObject: 

PutObjectRequest(String bucketName, String key, File file)

и 

PutObjectRequest(String bucketName, String key, InputStream input, ObjectMetadata metadata)

Для метода inputtream + ObjectMetadata требуются минимальные метаданные длины содержимого вашего входного потока. Если вы этого не сделаете, то он будет буферизовать в памяти для получения этой информации, это может привести к OOM. В качестве альтернативы, вы можете сделать свою собственную буферизацию в памяти, чтобы получить длину, но тогда вам нужно получить второй входной поток.

Не спрашивает ОП (ограничения его среды), но для кого-то другого, такого как я. Я считаю, что проще и безопаснее (если у вас есть доступ к временному файлу) записать входной поток во временный файл и поместить временный файл. Нет буфера в памяти и нет необходимости создавать второй входной поток. 

AmazonS3 s3Service = new AmazonS3Client(awsCredentials);
File scratchFile = File.createTempFile("prefix", "suffix");
try {
    FileUtils.copyInputStreamToFile(inputStream, scratchFile);    
    PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, id, scratchFile);
    PutObjectResult putObjectResult = s3Service.putObject(putObjectRequest);

} finally {
    if(scratchFile.exists()) {
        scratchFile.delete();
    }
}
7 голосов
/ 02 декабря 2011

При записи в S3 необходимо указать длину объекта S3, чтобы быть уверенным в отсутствии ошибок нехватки памяти.

Использование IOUtils.toByteArray(stream) также подвержено ошибкам OOM, поскольку это поддерживается ByteArrayOutputStream

Итак, лучший вариант - сначала записать входной поток во временный файл на локальном диске, а затем использовать этот файл для записи в S3, указав длину временного файла.

4 голосов
/ 21 марта 2014

Я на самом деле делаю что-то подобное, но на моем хранилище AWS S3: -

Код для сервлета, который получает загруженный файл: - 

import java.io.IOException;
import java.io.PrintWriter;
import java.util.List;

import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import org.apache.commons.fileupload.FileItem;
import org.apache.commons.fileupload.disk.DiskFileItemFactory;
import org.apache.commons.fileupload.servlet.ServletFileUpload;

import com.src.code.s3.S3FileUploader;

public class FileUploadHandler extends HttpServlet {

    protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        doPost(request, response);
    }

    protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        PrintWriter out = response.getWriter();

        try{
            List<FileItem> multipartfiledata = new ServletFileUpload(new DiskFileItemFactory()).parseRequest(request);

            //upload to S3
            S3FileUploader s3 = new S3FileUploader();
            String result = s3.fileUploader(multipartfiledata);

            out.print(result);
        } catch(Exception e){
            System.out.println(e.getMessage());
        }
    }
}

Код, который загружает эти данные как объект AWS: - 

import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.util.List;
import java.util.UUID;

import org.apache.commons.fileupload.FileItem;

import com.amazonaws.AmazonClientException;
import com.amazonaws.AmazonServiceException;
import com.amazonaws.auth.ClasspathPropertiesFileCredentialsProvider;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.model.ObjectMetadata;
import com.amazonaws.services.s3.model.PutObjectRequest;
import com.amazonaws.services.s3.model.S3Object;

public class S3FileUploader {


    private static String bucketName     = "***NAME OF YOUR BUCKET***";
    private static String keyName        = "Object-"+UUID.randomUUID();

    public String fileUploader(List<FileItem> fileData) throws IOException {
        AmazonS3 s3 = new AmazonS3Client(new ClasspathPropertiesFileCredentialsProvider());
        String result = "Upload unsuccessfull because ";
        try {

            S3Object s3Object = new S3Object();

            ObjectMetadata omd = new ObjectMetadata();
            omd.setContentType(fileData.get(0).getContentType());
            omd.setContentLength(fileData.get(0).getSize());
            omd.setHeader("filename", fileData.get(0).getName());

            ByteArrayInputStream bis = new ByteArrayInputStream(fileData.get(0).get());

            s3Object.setObjectContent(bis);
            s3.putObject(new PutObjectRequest(bucketName, keyName, bis, omd));
            s3Object.close();

            result = "Uploaded Successfully.";
        } catch (AmazonServiceException ase) {
           System.out.println("Caught an AmazonServiceException, which means your request made it to Amazon S3, but was "
                + "rejected with an error response for some reason.");

           System.out.println("Error Message:    " + ase.getMessage());
           System.out.println("HTTP Status Code: " + ase.getStatusCode());
           System.out.println("AWS Error Code:   " + ase.getErrorCode());
           System.out.println("Error Type:       " + ase.getErrorType());
           System.out.println("Request ID:       " + ase.getRequestId());

           result = result + ase.getMessage();
        } catch (AmazonClientException ace) {
           System.out.println("Caught an AmazonClientException, which means the client encountered an internal error while "
                + "trying to communicate with S3, such as not being able to access the network.");

           result = result + ace.getMessage();
         }catch (Exception e) {
             result = result + e.getMessage();
       }

        return result;
    }
}

Примечание: - Я использую файл свойств aws для учетных данных.

Надеюсь, это поможет.

3 голосов
/ 22 октября 2015

Я создал библиотеку, которая использует многоэтапную загрузку в фоновом режиме, чтобы избежать буферизации всего в памяти, а также не записывает на диск: https://github.com/alexmojaki/s3-stream-upload

0 голосов
/ 18 ноября 2018

Просто передача объекта файла методу putobject работала для меня.Если вы получаете поток, попробуйте записать его во временный файл, прежде чем передавать его на S3.

amazonS3.putObject(bucketName, id,fileObject);

Я использую Aws SDK v1.11.414

Ответ на https://stackoverflow.com/a/35904801/2373449 помог мне

0 голосов
/ 27 декабря 2016

добавление файла log4j-1.2.12.jar решило проблему для меня

...