Как запретить поисковой системе индексировать каталог для определенного домена?

Question

У меня есть пакет веб-хостинга с двумя доменами, указывающими на него. Я заметил в Google, что он проиндексировал каталог одного из доменов для другого домена. Есть ли способ предотвратить это?

Answer 1

Вы можете попробовать использовать стандарт исключения роботов , но это не гарантия.

Answer 2

Обновление robots.txt определенно решит проблему в будущем, но я думаю, что вопрос, который вы должны задать, - как Google узнал, что эти страницы были там?

Во-первых, вы должны убедиться, что пользователь не может пройти через файловую систему вашего сайта (если ваш сервер * nix, .htaccess должен иметь что-то вроде Options -Indexes). И если бы у вас была общедоступная ссылка в любом месте, объединяющая два сайта в одном домене, это могло бы быть так, как ее нашла Google. Если вы тщательно следите за тем, чтобы ваш сайт содержался в чистоте и никогда не указывал на файлы в другом документе, не должно быть проблем с размещением одного домена вне подкаталога другого домена.

Вы можете очистить индекс Google этих страниц, используя Инструменты для веб-мастеров . Чтобы идентифицировать себя как владельца сайта, вам нужно установить уникальный файл (они создадут его для вас) в корневой каталог ваших различных корней документов, а затем вы можете вручную обновить части своего сайта, которые у них есть. индексируются. Это относится только к к Google.

Если вы были проиндексированы другими поисковыми системами (и вы, вероятно, были, если Google проиндексировал вас), вы должны попытаться выяснить, как они туда попали, исправить проблему, переместить второй сайт в другую папку (вызывая страниц, чтобы сообщить 404 Page Not Found на ваш основной домен), а затем заставить поисковые системы переиндексировать.

Answer 3

Перенаправить все страницы одного из ваших доменов на другой.Вы можете сделать это с помощью .htaccess и modRewrite, аналогично следующему:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^example\.com$ [NC]
RewriteRule ^(.*)$ http://www.example.com/$1 [R=301,L]

Это позволит выполнить перенаправление 301 (навсегда перемещено) с сайта example.com на www.example.com.

ДляВ целях SEO вы никогда не хотите иметь дублированный контент (идентичные страницы на разных URL), для вашего контента всегда должен быть ровно один URL, все другие возможные URL должны перенаправляться на этот.

Answer 4

Если вы используете Linux, некоторые дополнения к вашему файлу .htaccess, вероятно, будут работать, но особенности будут зависеть от настроек вашего сайта.