wget рекурсивная загрузка отсутствующих файлов subdir - PullRequest
0 голосов
/ 27 сентября 2018

У меня проблемы с массовой загрузкой набора данных https://n5eil01u.ecs.nsidc.org/ICEBRIDGE/RDEFT4.001/ с помощью wget в Linux.Этот адресный каталог содержит много подкаталогов, каждый из которых выглядит следующим образом:

enter image description here

Я правильно настроил файл ~. / Netrc (https://nsidc.org/support/how/how-do-i-use-wget-bulk-downloading-data-set) и уже отлично загрузили другие наборы данных. Обратите внимание, что вам нужно зарегистрироваться в NSIDC (бесплатно), чтобы получить имя пользователя / пароль.

Когда я пытаюсь выполнить приведенную ниже команду, она пропускает все файлы .nc, которые я пытаюсьполучить, только возвращая index.html файлы подпапок.

wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --no-check-certificate --auth-no-challenge=on -r -np -e robots=off https://n5eil01u.ecs.nsidc.org/ICEBRIDGE/RDEFT4.001/

Но если я просто изменю путь к первой подпапке 2010.08.27, он успешно захватит все файлыв этой ОДНОЙ подпапке.

wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --no-check-certificate --auth-no-challenge=on -r -np -e robots=off https://n5eil01u.ecs.nsidc.org/ICEBRIDGE/RDEFT4.001/2010.08.27

Есть какие-либо предложения о том, почему это может произойти?удачи здесь). Спасибо!

...