В robots.txt разрешить сканирование только для поддоменов, а не подкаталога на виртуальном хостинге?

Question

Я только что изменил настройки DNS, поэтому папка /forum теперь является поддоменом, а не подкаталогом. Если я сделаю файл robots.txt и скажу:

User-agent: *
Disallow: /forum

Это запретит сканирование для подкаталога И субдомена?

Я хочу запретить сканирование подкаталога, но разрешить сканирование поддомена. Примечание: это на общедоступном хостинге, поэтому можно посещать как подкаталог, так и поддомен. Вот почему у меня есть эта проблема.

Итак, Как разрешить сканирование только для субдомена?

Answer 1

Это правильный путь, если вы хотите прекратить ползать.Но обратите внимание: если URL-адреса уже проиндексированы, они не будут удалены.

Я бы предпочел установить для всех страниц значение «noindex / follow» с помощью мета-тегов или, что еще лучше, «канонического тега» для отправки трафика поисковых систем на URL субдомена В ваш

На заданном URL-адресе, таком как "http://www.yourdomain.com/directoryname/post-of-the-day", используйте

<link rel="canonical" href="http://directoyname.yourdomain.com/post-of-the-day" />

Последний URL-адрес будет единственным в поисковой выдаче