Как я могу избежать повторной загрузки чего-либо с помощью gsutil? - PullRequest
Новая
       77

Как я могу избежать повторной загрузки чего-либо с помощью gsutil?

0 голосов
/ 02 мая 2020

Сейчас я загружаю что-то довольно большое (570,8 ГБ) с помощью Google Cloud SDK Shell.

Каждый раз, когда я решаю прекратить загрузку и начать заново (я едва могу использовать этот компьютер, чтобы делать что-либо еще, когда я скачивал с помощью gsutil из-за многопоточной загрузки), он всегда начинался с нуля как будто ничего не было загружено раньше, что довольно неприятно.

Могу ли я спросить, как я могу предотвратить повторную загрузку с нуля?

ps Теперь я использую этот аргумент строки для моей загрузки: 

gsutil -m cp -r gs://xxxxx/ destination

1 Ответ

1 голос
/ 02 мая 2020

Возобновляемые загрузки поддерживаются в соответствии с документацией :

Аналогично, gsutil автоматически выполняет возобновляемые загрузки (с использованием стандартных операций HTTP GET диапазона HTTP) всякий раз, когда вы используете команду cp, если только пункт назначения - это поток. В этом случае частично загруженный временный файл будет виден в каталоге назначения. После завершения исходный файл удаляется и перезаписывается загруженным содержимым.

Возобновляемые загрузки и загрузки сохраняют информацию о состоянии в файлах в ~ / .gsutil , названных целевым объектом или файлом. Если вы попытаетесь возобновить передачу с компьютера с другим каталогом, передача начнется с нуля.

Вы можете проверить, присутствует ли информация о состоянии по соответствующему пути.

...