Есть много способов сделать это.
Класс WebClient может использоваться для извлечения веб-ресурсов, таких как веб-страницы.
Если вы хотите сканировать сайт, вам также нужно будет проанализировать контент, чтобы перейти по ссылкам и загрузить изображения и другие ресурсы (CSS, Javascript и т. Д.) - я предлагаю использовать такой синтаксический анализатор, как HTML Agility Pack для анализа HTML, чтобы вы могли запросить его об этих ресурсах (которые вы также можете загрузить с помощью WebClient).