Как заставить определенные страницы не индексироваться поисковыми системами?

Question

Я сделал:

<meta name="robots" content="none"/>

Это лучший способ сделать это или есть лучший способ?

Answer 1

Вы можете создать файл с именем robots.txt в корне вашего сайта. Формат такой:

User-agent: (user agent string to match)
Disallow: (URL here)
Disallow: (other URL here)
...

Пример:

User-agent: *
Disallow: /

Заставит (хороших) роботов ничего не индексировать на вашем сайте. Конечно, некоторые роботы будут полностью игнорировать robots.txt, но для тех, кто его уважает, это ваш лучший выбор.

Если вам нужна дополнительная информация о файле robots.txt, см. http://www.robotstxt.org/

Answer 2

Вы можете использовать файл robots.txt для указания поисковым системам, какие страницы не нужно индексировать.

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

Или используйте тег meta noindex на каждой странице.