Предотвращение индексации поддоменами без файлов cookie для статических ресурсов поисковыми системами

Question

Я создал новый поддомен для всех статических активов (static.example.com), создав новую запись A и направив ее на тот же сервер с новым IP-адресом, а затем создав виртуальный хост с тем же DocumentRoot, что иосновной сайт www.example.com.Мы указали все ссылки на статические ресурсы на статический поддомен, однако доступ ко всем ресурсам веб-сайта можно получить через static.example.com или www.example.com.

Проблема заключается в том, что Google начал индексировать HTMLфайлы в поддомене static.example.com.Как лучше всего запретить Google индексировать файлы в этом домене?

Answer 1

Есть несколько способов сделать это.Один использует robots.txt

Создайте файл static.example.com.robots.txt в корневом каталоге и поместите в него следующее (нельзя использовать robots.txt, потому что он используется совместно с другими доменами).

Это запретит всем паукам, включая GoogleBot

User-agent: *
Disallow: /

Чтобы гарантировать, что это выполняется только с сайта static.example.com, добавьте следующее правило в ваш .htaccess в корневой папке вашегосайт.

RewriteEngine On
RewriteBase /


#if request is on static.example.com
RewriteCond %{HTTP_HOST} ^static\.example\.com$ [NC]
#serve robots.txt from static.example.com.robots.txt
RewriteRule ^(robots\.txt)$ %{HTTP_HOST}.$1 [L,NC]