блокировать поисковые системы от индексации сайтов разработчиков

Question

Я думаю, что один из моих сайтов недавно был исключен из Google, потому что он нашел и начал индексировать мой сайт разработчика. это в основном копия моего основного сайта. (dev.site.com & site.com)

В любом случае, существует ли способ создать один robot.txt, который предотвратит индексацию любого трафика на dev.site.com, оставив site.com по-прежнему полностью проиндексированным.

я знаю, что я мог бы просто иметь отдельные файлы роботов для каждого, но было бы проще иметь тот, который охватывает оба. тем более, что я работаю со всеми сайтами, на которых есть сайты разработчиков, и хотел бы иметь простой рабочий процесс и не менять файлы роботов, когда я запускаю новые версии сайта.

Answer 1

Другой подход - добавить строку в ваш файл .htaccess: Набор заголовков X-Robots-Tag "noindex, nofollow"

Предполагается, что он превосходит robots.txt, так как если есть ссылка на ваш сайт разработчика, поисковые системы сообщат о ссылке (даже если они не индексируют ваш сайт). Это защищено здесь: http://yoast.com/prevent-site-being-indexed/

Answer 2

Возможно, вы могли бы динамически обслуживать файл robots.txt, например, через PHP:

<?php
if ($_SERVER['HTTP_HOST'] === 'dev.site.com') {
    echo "...";
} else {
    echo "...";
}

Answer 3

Это часть стандарта, согласно которой каждый поддомен должен иметь свой собственный файл robots.txt (если к нему обращаются с сайта dev.site.com; вам не нужен другой для site.com/dev).