Как запретить поисковым системам индексировать одну страницу моего сайта? - PullRequest
Новая
       5

Как запретить поисковым системам индексировать одну страницу моего сайта?

27 голосов
/ 29 октября 2010

Я не хочу, чтобы поисковые системы индексировали мою страницу выходных данных.Как я мог это сделать?

Ответы [ 7 ]

36 голосов
/ 29 октября 2010

Также вы можете добавить следующий метатег в заголовок этой страницы 

<meta name="robots" content="noindex,nofollow" />
28 голосов
/ 29 октября 2010

Вам нужен простой robots.txt файл.По сути, это текстовый файл, который сообщает поисковым системам не индексировать определенные страницы.
Вам не нужно включать его в заголовок вашей страницы;Пока он находится в корневом каталоге вашего сайта, он будет подхвачен сканерами.
Создайте его в корневой папке вашего сайта и вставьте следующий текст: 

User-Agent: *
Disallow: /imprint-page.htm

Обратите внимание, что вызамените imprint-page.html в примере на фактическое имя страницы (или каталога), которую вы хотите сохранить от индексации.

Вот и все!Если вы хотите стать более продвинутым, вы можете проверить здесь , здесь или здесь для получения дополнительной информации.Кроме того, вы можете найти бесплатные онлайн-инструменты, которые сгенерируют для вас файл robots.txt (например, здесь ).

5 голосов
/ 29 октября 2010

Вы можете настроить файл robots.txt, чтобы попытаться заставить поисковые системы игнорировать определенные каталоги.

Подробнее см. Здесь.

В основном: 

User-agent: *
Disallow: /[directory or file here]
3 голосов
/ 10 ноября 2016 
<meta name="robots" content="noindex, nofollow">

Просто включите эту строку в тег <html> <head>.Почему я говорю вам это, потому что если вы используете файл robots.txt, чтобы скрыть ваши URL-адреса, которые могут быть страницами входа или другими защищенными URL-адресами, которые вы не будете показывать никому другому или поисковым системам.

Что я могуdo просто получает доступ к файлу robots.txt прямо с вашего веб-сайта и может увидеть, какие ваши URL-адреса являются секретными.Тогда какова логика этого файла robots.txt?

Хороший способ - включить метатег сверху и обезопасить себя от всех.

3 голосов
/ 12 августа 2014

В настоящее время лучшим способом является использование метатега роботов и установка его на noindex,follow: 

<meta name="robots" content="noindex, follow">
0 голосов
/ 30 января 2017

Робот хочет просмотреть URL-адрес веб-сайта, скажем http://www.example.com/welcome.html.. Прежде чем он это сделает, он проверяет наличие http://www.example.com/robots.txt, и находит: Вы можете явно запретить: 

User-agent: *
Disallow: /~joe/junk.html

пожалуйста, посетите ссылку ниже для деталей robots.txt

0 голосов
/ 08 декабря 2011

Создайте файл robots.txt и установите там элементы управления.

Вот документы для Google: http://code.google.com/web/controlcrawlindex/docs/robots_txt.html

...