Если на сервере включен просмотр каталогов, то вы можете сканировать списки каталогов, т. Е. Использовать HttpWebRequest, чтобы получить страницу со списком, проанализировать ответ, чтобы найти ссылки на файлы, скачать каждый файл (также с HttpWebRequest), перейти к каждой подпапке , промойте и повторите.
Если просмотр каталогов не включен, вы не сможете загрузить ВСЕ файлы во ВСЕ подкаталоги, потому что не знаете, что они существуют.
Однако вы все равно можете использовать HttpWebRequest для сканирования открытых веб-страниц и загрузки любых связанных файлов, представляющих интерес.