Невозможно распаковать сжатые файлы после загрузки фрагментов входного потока в S3 - PullRequest
Новая
       5

Невозможно распаковать сжатые файлы после загрузки фрагментов входного потока в S3

0 голосов
/ 31 января 2019

Я бы хотел взять свой поток ввода и загрузить сжатые детали в s3 аналогично загрузке из нескольких частей.Однако я хочу сохранить отдельные части файла на S3 и не превращать их в один файл.

Для этого я создал следующие методы.Но когда я пытаюсь распаковать gzip каждую часть, gzip выдает ошибку и говорит: gzip: file_part_2.log.gz: not in gzip format.

Я не уверен, правильно ли я сжимаю каждую часть?

Если я перезаписываюинициализируйте gzipoutputstream: gzip = new GZIPOutputStream(baos); и установите gzip.finish() после сброса потока вывода массива байтов baos.reset();, после чего я могу распаковать каждую часть.Не уверен, почему мне нужно сделать это, есть ли аналогичный reset для gzipoutputstream? 

public void upload(String bucket, String key, InputStream is, int partSize) throws Exception
{
    String row;
    BufferedReader br = new BufferedReader(new InputStreamReader(is, ENCODING));
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    GZIPOutputStream gzip = new GZIPOutputStream(baos);

    int partCounter = 0;
    int lineCounter = 0;
    while ((row = br.readLine()) != null) {
        if (baos.size() >= partSize) {
            partCounter = this.uploadChunk(bucket, key, baos, partCounter);

            baos.reset();
        }else if(!row.equals("")){
            row += '\n';
            gzip.write(row.getBytes(ENCODING));
            lineCounter++;
        }
    }

    gzip.finish();
    br.close();
    baos.close();

    if(lineCounter == 0){
        throw new Exception("Aborting upload, file contents is empty!");
    }

    //Final chunk
    if (baos.size() > 0) {
        this.uploadChunk(bucket, key, baos, partCounter);
    }
}

private int uploadChunk(String bucket, String key, ByteArrayOutputStream baos, int partCounter)
{
    ObjectMetadata metaData = new ObjectMetadata();
    metaData.setContentLength(baos.size());

    String[] path = key.split("/");
    String[] filename = path[path.length-1].split("\\.");

    filename[0] = filename[0]+"_part_"+partCounter;

    path[path.length-1] = String.join(".", filename);

    amazonS3.putObject(
            bucket,
            String.join("/", path),
            new ByteArrayInputStream(baos.toByteArray()),
            metaData
    );

    log.info("Upload chunk {}, size: {}", partCounter, baos.size());

    return partCounter+1;
}

1 Ответ

0 голосов
/ 31 января 2019

Проблема в том, что вы используете один GZipOutputStream для всех кусков.Таким образом, вы на самом деле пишете фрагменты файла GZipped, который должен быть перекомпонован, чтобы быть полезным.

Внесение минимальных изменений в существующий код: 

if (baos.size() >= partSize) {
    gzip.close(); 
    partCounter = this.uploadChunk(bucket, key, baos, partCounter);
    baos = baos = new ByteArrayOutputStream();
    gzip = new GZIPOutputStream(baos);
}

Вам нужно сделатьто же самое в конце цикла.Кроме того, вы не должны выдавать исключение, если счетчик строк равен 0: вполне возможно, что файл делится точно на определенное количество кусков.

Чтобы улучшить код, я бы обернул GZIPOutputStreamв OutputStreamWriter и BufferedWriter, так что вам не нужно явно выполнять строковое преобразование байтов.

И, наконец, не используйте ByteArrayOutputStream.reset().Это не спасет вас от создания нового потока и откроет дверь для ошибок, если вы когда-нибудь забудете сбросить настройки.

...