Можно ли использовать wget для получения всех файлов на сервере?

Question

Можно ли использовать wget для получения всех файлов на сервере. Предположим, что это структура каталогов с использованием инфраструктуры Django на моем сайте foo.com

А если это структура каталогов

            /web/project1
            /web/project2
            /web/project3
            /web/project4
            /web/templates

Не зная названия каталогов /project1 ,project2..... Можно ли скачать все файлы

Answer 1

Вы можете использовать

wget -r -np http://www.foo.com/pool/main/z/

-r (рекурсивно получать файлы / папки)

-np (не спускаться в родительский каталог при рекурсивном извлечении)

или

wget -nH --cut-dirs=2 -r -np http://www.foo.com/pool/main/z/

- cut-dirs (это заставляет Wget не «видеть» количество компонентов удаленного каталога)

-nH (вызывая Wget с -r http://fly.srk.fer.hr/ создаст структуру каталогов, начинающуюся с fly.srk.fer.hr/. Этот параметр отключает такое поведение.)

Answer 2

Прежде всего, wget можно использовать только для получения файлов, обслуживаемых веб-сервером. В вопросе, который вы публикуете, неясно, имеете ли вы в виду реальные файлы или веб-страницы. Исходя из того, как вы сформулировали свой вопрос, я бы догадался, что вы намереваетесь загружать файлы сервера, а не веб-страницы, обслуживаемые Django. Если это правильно, то никакой wget не будет работать. Вам нужно использовать что-то вроде rsync или scp.

Если вы хотите использовать wget для извлечения всех сгенерированных страниц из Django, то это будет работать только в том случае, если ссылки указывают на эти каталоги. Итак, вам нужна страница с таким кодом:

<ul>
<li><a href="/web/project1">Project1</a></li>
<li><a href="/web/project2">Project2</a></li>
<li><a href="/web/project3">Project3</a></li>
<li><a href="/web/project4">Project4</a></li>
<li><a href="/web/templates">Templates</a></li>
</ul>

Wget не экстрасенс; он может тянуть только те страницы, о которых знает.

Answer 3

попробовать рекурсивный поиск - опция -r.