Я использую VSTS 2008 + C # + .Net 3.5. Я хочу найти инструмент (с открытым исходным кодом), который сканирует все веб-страницы для веб-сайта, и для любых других страниц домена, на которые ссылается этот веб-сайт, я хочу пропустить их сканирование (мне нужна только страница для этого конкретного домена только). Для просканированных веб-страниц я хочу сохранить их в локальном каталоге файлов.
Любые образцы или готовый инструмент с открытым исходным кодом?