Переписать правила и поисковую систему Google

Question

У меня есть веб-сайт, расположенный по адресу

www.website.com

На некоторых страницах есть правило прокси-сервера перезаписи, указывающее на

sub.website.com (aустановка WordPress, которая находится на другом сервере)

так, например; www.website.com / some-article.aspx показывает содержимое из => sub.website.com / articles / some-article / (и адрес остается без изменений)

Проблема в том, что Google будет индексировать обе страницы, создавая дублированный контент.Я только хочу, чтобы Google проиндексировал эту страницу: www.website.com / some-article.aspx

У кого-нибудь есть опыт в этой теме или есть идея?

Спасибо.

Answer 1

Большинство поисковых систем теперь поддерживают элементы канонических ссылок в разделе head, поэтому при установке wordpress на sub.website.com вам потребуется создать плагин wordpress, который будет добавлять этот элемент для каждой страницы с правильным каноническим URL-адресом. Что-то вроде:

<link rel="canonical" href="www.website.com/some-article.aspx"/>

Answer 2

Если вы не хотите, чтобы содержимое индекса sub.website.com было проиндексировано, вы можете создать файл robots.txt в корневом каталоге sub.website.com и добавить следующую запись.

User-agent: *
Disallow: /

Если вы хотите ограничить только некоторые каталоги, например, /articles, измените его на

User-agent: *
Disallow: /articles/

Если корневой каталог sub.website.com используется совместно с любым другим сайтом, например, www.website.com, затем см. Эту запись для получения инструкций о том, как изменить ваш .htaccess для предоставления правильного robots.txt

Answer 3

Несколько плагинов SEO для WordPress добавляют канонический тег на страницу, который сообщает поисковым системам, какой из ваших доменов содержит официальную версию. После активации не должно быть проблем.