Как возобновить загрузку с помощью Spring RestTemplate? - PullRequest
Новая
       7

Как возобновить загрузку с помощью Spring RestTemplate?

0 голосов
/ 08 февраля 2019

Я использую RestTemplate для загрузки файла с сервера Nexus (около 350 МБ).Код, указанный в этой записи, хорошо подходит для этой цели: 

RestTemplate restTemplate // = ...;

// Optional Accept header
RequestCallback requestCallback = request -> request.getHeaders()
        .setAccept(Arrays.asList(MediaType.APPLICATION_OCTET_STREAM, MediaType.ALL));

// Streams the response instead of loading it all in memory
ResponseExtractor<Void> responseExtractor = response -> {
    // Here I write the response to a file but do what you like
    Path path = Paths.get("some/path");
    Files.copy(response.getBody(), path);
    return null;
};
restTemplate.execute(URI.create("www.something.com"), HttpMethod.GET, requestCallback, responseExtractor);

Я хотел бы проверить, существует ли файл, затем попытаться возобновить загрузку: 

...
if(Files.exists(path)) {
    log.info("{} exists. Attempting to resume download", path);
    Files.write(path, StreamUtils.copyToByteArray(response.getBody()), StandardOpenOption.APPEND);
} else {
    Files.copy(response.getBody(), path);
}

Но это просто приводит к ошибке OOM: 

java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Unknown Source) ~[na:1.8.0_191]
    at java.io.ByteArrayOutputStream.grow(Unknown Source) ~[na:1.8.0_191]
    at java.io.ByteArrayOutputStream.ensureCapacity(Unknown Source) ~[na:1.8.0_191]
    at java.io.ByteArrayOutputStream.write(Unknown Source) ~[na:1.8.0_191]
    ...

Я проверил вызов, используя заголовок Range с curl, и я уверен, что Nexus это поддерживает.Я устанавливаю это следующим образом: 

long bytes = path.toFile().length();
...
request.getHeaders().setRange(Arrays.asList(HttpRange.createByteRange(bytes)));

Я предполагаю, что ошибка памяти происходит выше, потому что InputStream блокирует.Поэтому я пытаюсь использовать канал / буфер вместо этого: 

...
try {
    if(Files.exists(path)) {
        log.info("{} exists. Attempting to resume download", path);
        ReadableByteChannel channel = Channels.newChannel(response.getBody());

        FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.APPEND);
        fileChannel.tryLock();
        ByteBuffer buffer = ByteBuffer.allocate(4096);
        int bytesRead = 0;
        while((bytesRead = channel.read(buffer)) != -1) {
            fileChannel.write(buffer);
            buffer.clear();
        }

        fileChannel.close();    
    } else {
        Files.copy(response.getBody(), path);
    }
...

Это по крайней мере записывает некоторые данные в файл, но все равно не удается.У меня нет большого опыта работы с java.nio, поэтому любая помощь приветствуется.

* edit: Любые ответы приветствуются, но я вынужден использовать JDK 8 для этого проекта.

1 Ответ

0 голосов
/ 08 февраля 2019

Вам нужны следующие строки кода, если вы работаете с большими файлами, чтобы поток не читался в памяти: 

SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
requestFactory.setBufferRequestBody(false);     
restTemplate.setRequestFactory(requestFactory);
...