Автоматическая загрузка контента сайта с использованием ASP.net

Question

Используя ASP.net, какие методы я могу использовать для выполнения следующих действий:

1. Открыть соединение с заданным URL-адресом для чтения содержимого HTML
2. Разобрать указанный URL для гиперссылок и поместить их в массив
3. Проходить по каждой гиперссылке (только на 1 уровень ниже), открывать каждую, сохранять содержимое HTML в таблице и переходить к следующей гиперссылке, пока не будет выполнено.

Если ASP.net не подходит для этой задачи, другие языки или бесплатные скрипты / наборы инструментов будут приемлемы.

Спасибо.

Answer 1

• Используйте System.Net.WebClient для шага 1.
• Используйте System.Text.RegularExpressions, как показано здесь для шага 2.
• Создание и использование System.Data.DataTable для шага 2.
• См. здесь для шага 3

Я упустил очевидные вещи, такие как «цикл по DataTable» и т. Д. Более подробный ответ, вероятно, не будет что-то, что будет с этого сайта. Вопрос слишком велик, чтобы полностью ответить на него.