Robots.txt с одним сайтом, но двумя доменами

Question

У меня есть веб-сайт с двумя доменами. Оба домена указывают на корень сайта. Можно ли изменить файл robots.txt, чтобы один из доменов не сканировался, а другой все еще не сканируется?

Answer 1

Вы должны выполнить редирект 301 на предпочитаемый вами домен, который сообщает роботам, какой URL вы хотите сканировать.

Например

www.domain1.com

Если 301 перенаправить на

www.domain2.com

Аналогично

www.domain1.com/Contact-Us/

Если 301 перенаправить на

www.domain2.com/Contact-Us/