Исключая тестируемый поддомен из сканирования поисковыми системами (с репозиторием SVN) - PullRequest
Новая
       53

Исключая тестируемый поддомен из сканирования поисковыми системами (с репозиторием SVN)

8 голосов
/ 19 июля 2011

у меня есть:

  • domain.com
  • testing.domain.com

Я хочу, чтобы domain.com сканировался и индексировался поисковыми системами, но не test.domain.com

Тестовый домен и основной домен используют один и тот же SVN-репозиторий, поэтому я не уверен, будут ли работать отдельные файлы robots.txt ...

Ответы [ 2 ]

11 голосов
/ 19 июля 2011

1) Создайте отдельный файл robots.txt (например, назовите его robots_testing.txt ).

2) Добавьте это правило в ваш .htaccess в корневой папке сайта: 

RewriteCond %{HTTP_HOST} =testing.example.com
RewriteRule ^robots\.txt$ /robots_testing.txt [L]

Перезапишет (внутреннее перенаправление) любой запрос на robots.txt в robots_testing.txt ЕСЛИ доменное имя = testing.example.com.

В качестве альтернативы, сделать наоборот - переписать все запросы от robots.txt до robots_disabled.txt для всех доменов, кроме example.com: 

RewriteCond %{HTTP_HOST} !=example.com
RewriteRule ^robots\.txt$ /robots_disabled.txt [L]
2 голосов
/ 19 июля 2011

testing.domain.com должен иметь собственный файл robots.txt следующим образом 

User-agent: *
Disallow: /

User-agent: Googlebot
Noindex: /

расположен по адресу http://testing.domain.com/robots.txt
Это запретит всех пользовательских агентов-ботов, и, как гугл смотрит на Noindex, так и будет, хотя в хорошем смысле.

Вы также можете добавить свой поддомен в инструменты для веб-мастеров - заблокировать по robots.txt и отправить удаление сайта (хотя это будет только для Google). Для получения дополнительной информации взгляните на http://googlewebmastercentral.blogspot.com/2010/03/url-removal-explained-part-i-urls.html

...