мне нужно знать, какой из моих URL индексируется в Google

Question

некоторые из URL моего сайта дублированы. Мне нужно знать, какие из них индексируются Google Мне нужна некоторая функция в C #, чтобы знать, какой из моих URL проиндексирован.

Answer 1

В поиске Google вы можете ввести: сайт: ваш_домен

И он покажет вам результаты. Вы можете использовать API пользовательского поиска Google программно для этого. http://code.google.com/apis/customsearch/v1/overview.html

Возвращает результаты JSON, которые можно преобразовать в объекты C # с помощью DataContractSerializer.

Вам нужно будет зарегистрировать ключ API, если вы пойдете по этому маршруту.

Редактировать Что касается Html Agility Pack, у меня есть пост в блоге, который показывает, как вы можете извлечь ссылки на странице

Поиск ссылок на веб-странице