Можно ли остановить поисковые системы, индексирующие страницы с определенным параметром строки запроса

Question

Я использую DataPager asp.net и заметил, что поисковые системы не смогут сканировать созданные ссылки, поэтому я добавил параметр querystring и теперь вижу, что он может сканировать ссылки.

Теперь у меня проблема в том, что теперь она будет равномерно заканчиваться несколькими URL-адресами для одной и той же страницы.

Можно ли остановить поисковые системы, индексирующие все страницы с параметром строки запроса, например:

?pg=

, поэтому поисковая система будет переходить по этим ссылкам, но не индексировать:

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6

, но будет индексировать:

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation

Спасибо за любую помощь

J.

Answer 1

Я уверен, что вы можете добиться этого с помощью robots.txt

С помощью Google вы можете указать параметры, которые вы хотите исключить, с помощью инструментов для веб-мастеров.

Вы также можете перехватить useragentи просто сбить страницу, когда это бот ...