С SharePoint Server 2007 есть также функция поиска и сканер. Тем не менее, Crawler несколько ограничен в том, что он поддерживает Basic Auth только при обходе внешних сайтов и что нет способа сказать ему игнорировать атрибуты no-index, no-follow.
Теперь есть сайт, который я хотел бы проиндексировать, к сожалению, этот сайт использует свою собственную систему аутентификации, и он не использует никаких индексов и не следит за страницами. Контролируя этот сайт, я могу удалить Атрибуты, но это PITA. Кроме того, это не решает проблему аутентификации.
Так что мне просто интересно, можно ли как-нибудь расширить Crawler Sharepoint?