WGET: хотите получить все файлы / pdfs с сайта, каталог создается, но файлы не загружаются - PullRequest
Новая
       8

WGET: хотите получить все файлы / pdfs с сайта, каталог создается, но файлы не загружаются

0 голосов
/ 26 октября 2018

Я, по-видимому, слишком не замечаю (w), чтобы получить все слайды.

Наличие сайта, заполненного pdf и ppt: http://some.uni.edu/~name/slides.html Я бы хотел загрузить все (многие) ссылкифайлы за один раз.Пока каталог создается с помощью wget, но он пуст.

Я пробовал: 

wget -r -A.pdf,.ppt http://some.uni.edu/~name/slides.html
wget -e robots=off -A.pdf,.ppt -r -l1 http://some.uni.edu/~name/slides.html
wget -nd -l -r -e robots=off http://some.uni.edu/~name/slides.html 
wget -r -np -R "slides.html" http://some.uni.edu/~name/slides.html  
wget -r -np -R "slides.html" http://some.uni.edu/~name/

Так, например: 

$ wget -r https://web.cs.ucla.edu/~kaoru/
--2018-10-29 21:38:50--  https://web.cs.ucla.edu/~kaoru/
Resolving web.cs.ucla.edu (web.cs.ucla.edu)... 131.179.128.29
Connecting to web.cs.ucla.edu     (web.cs.ucla.edu)|131.179.128.29|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 623 [text/html]
Saving to: ‘web.cs.ucla.edu/~kaoru/index.html’

web.cs.ucla.edu/~ka 100%[===================>]     623  --.-KB/s    in 0s      

2018-10-29 21:38:51 (19.1 MB/s) -     ‘web.cs.ucla.edu/~kaoru/index.html’ saved [623/623]

Loading robots.txt; please ignore errors.
--2018-10-29 21:38:51--  https://web.cs.ucla.edu/robots.txt
Reusing existing connection to web.cs.ucla.edu:443.
HTTP request sent, awaiting response... 200 OK
Length: 95 [text/plain]
Saving to: ‘web.cs.ucla.edu/robots.txt’

web.cs.ucla.edu/rob 100%[===================>]      95  --.-KB/s        in 0s      

2018-10-29 21:38:51 (3.10 MB/s) - ‘web.cs.ucla.edu/robots.txt’ saved [95/95]

--2018-10-29 21:38:51--  https://web.cs.ucla.edu/~kaoru/paper11.gif
Reusing existing connection to web.cs.ucla.edu:443.
HTTP request sent, awaiting response... 200 OK
Length: 10230 (10.0K) [image/gif]
Saving to: ‘web.cs.ucla.edu/~kaoru/paper11.gif’

web.cs.ucla.edu/~ka 100%[===================>]   9.99K  --.-KB/s    in 0.001s  

2018-10-29 21:38:51 (12.3 MB/s) -     ‘web.cs.ucla.edu/~kaoru/paper11.gif’ saved [10230/10230]

FINISHED --2018-10-29 21:38:51--
Total wall clock time: 0.9s
Downloaded: 3 files, 11K in 0.001s (12.2 MB/s)

Все еще не загружает файлы: 

$ ls 
$ index.html  paper11.gif

1 Ответ

0 голосов
/ 29 октября 2018

Ваши примеры 

wget -r -A.pdf,.ppt http://some.uni.edu/~name/slides.html
wget -e robots=off -A.pdf,.ppt -r -l1 http://some.uni.edu/~name/slides.html
wget -nd -l -r -e robots=off http://some.uni.edu/~name/slides.html 
wget -r -np -R "slides.html" http://some.uni.edu/~name/slides.html

не должны работать так, как вы хотите, поскольку вы специально нацеливаетесь на один html -файл, а именно slides.html.Вы должны быть нацелены на каталог.

Тем не менее, ваш последний пример является наиболее близким, я думаю.

Поскольку пример @Kingsley работает для вас, вы должны сначала попробовать это, а затем начать с-R и -A файлы. 

wget -r http://some.uni.edu/~name/

Возможно, это должно быть https!?

В любом случае, если «просмотр каталога» не разрешен (контролируется сервером), тоwget не может получить все файлы рекурсивно.Он может получить только определенные файлы, имена которых вы знаете!

...