Как я могу получить файлы и папки специального сайта, такого как IDM Grabber в C #

Question

Если вы работали с IDM (Internet Download Manager), у него есть элемент с именем Grabber, который выполняет поиск на специальном веб-сайте, получает файлы и папки этого веб-сайта, и вы можете загрузить их с помощью IDM.

Я бы хотел сделать что-то подобное в C #. Я хотел бы скачать HTML веб-страниц и извлекать ссылки с этих страниц. Я также хотел бы обнаружить каталоги и попытаться найти их содержимое - возможно, проанализировав страницы со списком каталогов "Index Of".

Как бы я поступил так?

Answer 1

Используйте regex или HtmlAgilityPack (http://htmlagilitypack.codeplex.com/) для синтаксического анализа веб-сайта и поиска ссылок на файлы. Возможно, вам потребуется проверить расширение файла. Т.е. анализировать только ссылки, оканчивающиеся на .zip|.exe|.msi|.rar|.png|.pdf|.gif|.jpg|.jpeg.

Answer 2

Однажды я написал для этого «Web Spider» и опубликовал исходный код в Code Project .

Если вы хотите сделать это как конечный пользователь, я обнаружил, что бесплатный Httrack Website Copier работает довольно хорошо.