ASP.Net, как разрешить поисковым роботам (Google) пропускать страницу отказа от ответственности

Question

Я создаю веб-сайт ASP.NET, который заставляет пользователей принять отказ от ответственности. Когда они принимают отказ от ответственности, устанавливается cookie и сессия. На каждом запросе страницы запускается проверка, чтобы увидеть, присутствует ли сеанс или cookie.

Мы хотим разрешить Google и другим поисковым роботам индексировать / сканировать все страницы без принятия заявления об отказе.

Какой лучший способ сделать это? Единственное, о чем я могу подумать - это проверка в Request.ServerVariables, но я не уверен, какие значения мне следует искать?

Answer 1

Вам необходимо обойти проверку сеанса / куки в случае, если робот Google проходит мимо.

Так что в этой проверке вам действительно нужно взглянуть на ServerVariables. Например. для Google это будет что-то вроде

   HttpContext.Current.Request.ServerVariables["HTTP_USER_AGENT"].Contains("Googlebot"))

Конечно, любой, кто претендует на Google, теперь также сможет пропустить отказ от ответственности.

Я бы не назвал это уловкой - но нет никаких гарантий, нравится ли Google это или нет

Answer 2

для этого необходимо добавить метатеги, иначе запретить доступ с помощью метатегов web.config работает таким образом

<meta name="robots" content="noindex nofollow">

специально для Google это

<meta name="googlebot" content="noindex">

Также вы можете попробовать Сервис запроса на удаление URL