Робот Google заменяет ссылки приложения Rails на поддомен

Question

У меня есть это приложение Rails с доменным именем abc.com.У меня также есть отдельный поддомен для статистики Piwik, в этом поддомене stats.abc.com.

Googlebot каким-то образом также перечислил некоторые ссылки с моим поддоменом.

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

Ссылки с stats будет ссылаться на ту же страницу в приложении, но будет обрабатываться совершенно на другом сайте.

Я вставил robots.txt в stats после этого вопроса, но спрашиваю себя, есть ли какой-нибудь подходящий способ заблокировать этопотому что у меня могут быть новые поддомены в будущем.Вот мой контент в robots.txt

User-agent: *
Disallow: /

Спасибо.

Answer 1

Robots.txt просто заблокирует его.Просто важно помнить, прежде чем вы публикуете сайт - Google работает довольно быстро.Некоторые поисковые системы игнорируют robots.txt.Лучше всего не иметь поддоменов, которые действительно не соответствуют вашей ситуации.Я рекомендую прочитать истинное назначение поддоменов.Вы не должны обслуживать один и тот же сайт в разных доменах.Вы должны использовать 301 direct или иметь разное содержимое на разных (под) доменах ... Если stats.abc.com не содержит другой материал, он не должен быть поддоменом.Для чего вам нужно так много поддоменов?

Вы могли бы обнаружить пользовательский агент, а если это бот, вернуть тоже 404