Существуют ли способы пропустить определенный текст из веб-сканеров - PullRequest
0 голосов
/ 15 декабря 2011

Прямо сейчас у меня есть ситуация, когда мои условия использования загружаются через элемент управления ascx и отображаются с jquery, когда пользователь хочет или хочет его увидеть ... Мне нравится этот UX, потому что я могу показать TOU вПоявляется jquery, которым я управляю без перенаправления пользователя.

Проблема в том, что Google подхватил это, потому что он загружен ascx как статический текст.Я знаю, что мог бы поместить это на новую страницу и просто перенаправить (и добавить правило игнорирования в robots.txt), но мой вопрос, если я загружу этот текст async w / ajax только тогда, когда он должен быть показан, будет Googleвеб-сканер нажимает на каждую ссылку и по-прежнему связывает весь этот юридический текст со страницей (и продолжает портить мои результаты SEO).

Прежде чем я попробую эту технику, я задался вопросом, есть ли кто-нибудь 1) Была ли какая-либо другая техника,они используют или 2) знают, будет ли эта техника окончательно работать или нет.Google занимает несколько дней, чтобы проиндексировать мой сайт, поэтому я не хотел тратить время, если кто-то знал наверняка.

Обратите внимание, что единственный связанный вопрос, который я нашел, был здесь , ноэтот парень пытался быть гнусным против веб-сканеров.Я просто хочу, чтобы robots.txt игнорировал поведение, не ставя под угрозу мой UX.

1 Ответ

1 голос
/ 15 декабря 2011

Одна вещь, которую вы можете сделать, это отображать ваши Условия использования, только когда User-Agent (то есть браузер пользователя) не является Googlebot.

В ASP.NET вы можете проверить браузер, установив Request.ServerVariables("HTTP_USER_AGENT").

Google сообщает о следующем агенте пользователя:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Итак, просто оберните ваш контент проверкой, например:

if (! Request.ServerVariables("HTTP_USER_AGENT").Contains("Googlebot"))
{
     <your content here>
}

Удачи!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...