wget для загрузки нескольких папок с адреса https - PullRequest
0 голосов
/ 12 ноября 2018

Я использую следующую строку wget для загрузки набора данных.

wget -e robots=off -m -np -R .html,.tmp -nH --cut-dirs=3 \
                 https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672578/ \
                 --header "Authorization: Bearer <your appKey>" -P <target dir>

Теперь я хочу загрузить несколько папок с одного URL (т.е. https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672578/; https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672579/; https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/50672580/ и т. Д.)

Я использую цикл for в сценарии оболочки для следующего:

for i in 50672578 50672579 50672580 
do
    wget -e robots=off -m -np -R .html,.tmp -nH --cut-dirs=3 \
                 https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/$i/ \
                 --header "Authorization: Bearer <your appKey>" -P <target dir> 
done

Но при этом возникает следующая ошибка:

Запрос прокси отправлен, ожидание ответа ... 400 Bad Request 2018-11-12 12:18:34 ERROR 400: Bad Request.

По отдельности работает нормально, но не черезцикл.

Просьба указать мои ошибки.

Заранее спасибо

Ответы [ 2 ]

0 голосов
/ 13 ноября 2018

Нет необходимости использовать цикл for, вы можете выразить список URL следующим образом:

https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/{50672578,50672579,50672580}/

0 голосов
/ 12 ноября 2018

Вы можете назначить URL-адреса в массиве, как показано ниже, и прочитать их в цикле

ARRAY = (URL1 URL2 ... URLN)

...