Загрузите большой файл через curl

Question

Я работаю над контейнером docker на удаленном сервере, и мне нужно загрузить большой zip-файл с набором данных NYU v2.

Я знаю, как загружать небольшие файлы с помощью curl, например:

curl -L -o newName.zip https://drive.google.com/uc?export=download&id=1fdFu5NGXe4rTLYKD5wOqk9dl-eJOefXo

Но поскольку файл большой, загрузка прервана

Буду признателен за помощь

Answer 1

Вы можете использовать следующий bash скрипт:

#!/usr/bin/env bash

$(mkdir -p "Data/")
echo "Downloading Data"
fileid="1fdFu5NGXe4rTLYKD5wOqk9dl-eJOefXo"
filename="nyu_data.zip"
curl -c ./cookie -s -L "https://drive.google.com/uc?export=download&id=${fileid}" > /dev/null
curl -Lb ./cookie "https://drive.google.com/uc?export=download&confirm=`awk '/download/ {print $NF}' ./cookie`&id=${fileid}" -o "Data/"${filename}
$(rm cookie)

Это поместит zip-файл в созданный каталог данных