Bash скрипт для wget, начинающийся с определенного символа - PullRequest
Новая
       8

Bash скрипт для wget, начинающийся с определенного символа

0 голосов
/ 08 сентября 2018

У меня есть URL http://example.com/dir, в котором есть много подкаталогов с файлами, которые я хочу сохранить.Поскольку его размер очень большой, я хочу разбить эту операцию на части

например.загрузить все из подкаталогов, начиная с A, например 

http://example.com/A
http://example.com/Aa
http://example.com/Ab
etc

Я создал следующий скрипт 

#!/bin/bash

for g in A B C

do  wget -e robots=off -r -nc -np -R "index.html*" http://example.com/$g

done

, но он пытается загрузить только http://example.com/A, а не http://example.com/A*

1 Ответ

0 голосов
/ 08 сентября 2018

Посмотрите на эту страницу, там есть все, что вам нужно знать:

https://www.gnu.org/software/wget/manual/wget.html

1) Вы можете использовать:

--spider -nd -r -o outputfile <domain>

, который не загружает файлы, а просто проверяет их наличие. -nd запрещает wget создавать каталоги локально -r для разбора всего сайта -o outputfile чтобы отправить вывод в файл

чтобы получить список URL для загрузки.

2) , затем проанализируйте выходной файл для извлечения файлов и создайте меньшие списки ссылок, которые вы хотите загрузить.

3) , затем используйте -i file (== --input-file=file) для загрузки каждого списка, ограничивая таким образом количество загрузок в одном исполнении wget.

Примечания: - --limit-rate=amount можно использовать для замедления загрузки, чтобы сэкономить вашу интернет-ссылку!

...