Загрузка большого файла в Java неполная без ошибок - PullRequest
Новая
       9

Загрузка большого файла в Java неполная без ошибок

0 голосов
/ 01 марта 2019

мы загружаем очень большой файл (~ 70G), но один раз код завершен без исключения, но загруженный файл был неполным, чуть меньше 50G.

Код: 

public void download(String url, String filename) throws Exception {
    URL dumpUrl = new URL(url);
    try (InputStream input = dumpUrl.openStream()) {
         Files.copy(input, Paths.get(filename));
    }
}

url - это заранее заданный URL-адрес облачного хранилища Google.

Это только библиотеки не обнаруживают проблему сброса соединения?Или что-то еще?

Есть ли лучшие библиотеки, которые я мог бы использовать.Или мне нужно сначала выполнить вызов HEAD, а затем сопоставить размер загруженного файла с длиной содержимого.

Не важно, что это не сработало, это происходит, и у нас есть логика повторных попыток.Моя проблема в том, что код думал, что он работает.

ОБНОВЛЕНИЕ: Так что, похоже, что он не прошел ровно через 2 часа после начала загрузки.Это заставляет меня подозревать, что это может быть проблема с netops / firewall.Не уверен, с какой стороны я начну беспокоить мою оперативную команду.Кто-нибудь знает ограничения по времени в конце Google?

Игнорировать это обновление - есть больше экземпляров сейчас, без установленного времени.В любом месте от 20 минут до 2 часов.

...