Как получить все URL-адреса веб-сайта, используя процесс сканирования с Asp.net? - PullRequest
0 голосов
/ 11 июня 2011

Как получить все URL сайта

Предположим, я хочу просканировать некоторую часть данных на веб-сайте, чтобы на разных веб-страницах получить весь список URL-адресов и попасть на все подобные страницы.

предположим, на мобильном сайте я хочу получить все мобильные телефоны одного бренда, как я могу получить их, которые находятся в разных URL-адресах сайта. Я наблюдаю, что тег Div является «фирменным знаком» для всех мобильных телефонов

Div Class "Nokia" .... Я хочу, чтобы URL-адреса веб-сайта имели div-класс как nokia.

1 Ответ

2 голосов
/ 11 июня 2011

Вы можете использовать анализатор HTML, например Html Agility Pack , чтобы извлечь все URL-адреса из якорей, форм, ... Если URL-адрес не является частью HTML-кода, который вы анализируете, вы не сможете(кроме предположения ) знать, какие существуют все возможные субдомены и URL-адреса для данного домена.

...