У меня есть страницы, которые заканчиваются поиском? = Ключевое слово, и я хочу, чтобы Google запретил сканирование этих страниц. Примеры страниц ниже. Мне было интересно, если я добавлю Disallow: / search в robots.txt, будет ли это работать?
Примеры URL:
http://www.website.com/search?=neymar http://www.website.com/search?=ronaldo http://www.website.com/search?=kobe
Так что в принципе я не хочу, чтобы Google сканировал все URL, которые заканчиваются на / search? = ключевое слово. Спасибо.
Будет работать.
Disallow: /search?=*