запретить Google индексировать

Question

Привет, господа, как лучше всего запретить Google показ папки в поисковой системе? Например, www.example.com/support, что мне делать, если я хочу, чтобы папка поддержки исчезла в Google? первым делом я поместил файл 'robots.txt' и включил этот код

User-agent: *
Disallow: /support/etc

но результаты - это катастрофа, я больше не могу пользоваться страницей поддержки, пока я не удалю robots.txt что лучше всего сделать?

Answer 1

Хотя это не самый предпочтительный метод ограничения доступа роботов, Google говорит об использовании метатега noindex здесь . Это также предотвратит показ различных страниц, если они связаны с сайтом, отличным от вашего.

Хорошее обсуждение ограничивающих ботов, которые посещают ваш сайт, можно найти здесь .

Answer 2

robots.txt не должен влиять на работу вашей страницы. Если вы сомневаетесь, вы можете использовать инструменты для генерации, как http://www.searchenginepromotionhelp.com/m/robots-text-creator/simple-robots-creator.php или http://www.seochat.com/seo-tools/robots-generator/

При запрещении в файле роботов, вы можете явно указать файл или подпапку, а не просто папку.

Вы также можете использовать метатег в своем документе, чтобы запретить сканеру использовать его

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Answer 3

Каков наилучший способ запретить Google показ папки в поисковой системе?

Файл robots.txt является правильным способом сделать это. Ваш пример подходит для блокировки каталога /support/etc и его потомков.

больше не могу использовать страницу поддержки, пока я не удалю robots.txt

Не имеет смысла, что файл robots.txt будет влиять на работу вашего сайта, и, конечно, он никогда не должен влиять на то, какие страницы могут быть доступны человеку. Я подозреваю, что что-то еще не так - проверьте журналы вашего сервера, чтобы увидеть, какие ошибки регистрируются.