использование командной строки curl или wget для загрузки файлов

Question

Я прошу прощения, если этот вопрос был задан ранее, и если это простой вопрос.

Я пытаюсь загрузить файл с веб-сайта http на мою Unix-машину с помощью командной строки. Я захожу на этот сайт под именем пользователяи пароль.

Скажите, что у меня есть эта ссылка (не рабочая ссылка) http://www.abcd.org/portal/ABCPortal/private/DataDownload.action?downloadFile=&workspace.id=4180&datasetId=76999

Скажите, если я вставлю эту ссылку в браузер, я получу окно, которое спрашивает, если яхотите сохранить ZIP-файл, на который он ссылается (скажем, xyz.zip).Эти файлы имеют размер ~ 1 ГБ.

Я хочу иметь возможность загрузить этот zip-файл с этим URL на мою unix-машину с помощью командной строки.Я попытался использовать wget и curl с указанным выше типом URL (предоставив имя пользователя и пароль).Я получаю HTML-форму, но не ZIP-файл.Есть ли способ получить zip-файл, на который ссылается этот вид URL?Я ничего не знаю о структурах каталогов на машине, где находятся файлы.

Спасибо за помощь,

Answer 1

Полагаю, вы не передали заголовок Accept-Encoding .Браузеры передают его по умолчанию, с вашими инструментами CLI вы должны сами запустить эти опции

Я не знаю о wget, но попробуйте использовать curl (-v в качестве подробной команды, чтобы вы могли выполнить запрос/ заголовки ответа):

curl -v "http://www.abcd.org/portal/ABCPortal/private/DataDownload.action?downloadFile=&workspace.id=4180&datasetId=76999" -H" Accept-Encoding: gzip "> /tmp/yourZippedFile.gz

Если это не так, возможно, вы дадитеПример реального сайта, поэтому мы можем проследить вашу проблему на конкретном примере. Трудно сказать, не видя HTTP-трафик.

Answer 2

FYI для Windows Curl, я должен добавить User-Agent:

curl -H "Accept-Encoding: gzip, deflate" -H "Пользователь-агент: Mozilla / 5.0 (Windows NT 5.1)" www.google.com> test3.gz

потому что без User-Agent он не даст мне файл gzip

curl -H "Принять-Кодирование: gzip, deflate" www.google.com> test