У меня есть среда разработки под виртуальным хостом на сервере apache.Я бы заблокировал этот виртуальный хост и все его подкаталоги для индексации поисковыми системами.
У меня есть этот код (который я вытащил из другого вопроса здесь), но его вопрос был для всего сервера,Я просто хотел бы когда-нибудь подтвердить, что это будет работать, и что это повлияет только на vhost и его подкаталоги (я не хочу, чтобы затронул весь сервер)
<VirtualHost *:80>
ServerName d.domain.co.uk
ServerAlias www.d.domain.co.uk
DocumentRoot /var/www/html/d.domain.co.uk
# Block all robots on all subdirs
<Location "robots.txt">
SetHandler None
</Location>
Alias /robots.txt /var/www/html/d.domain.co.uk/robots.txt
</VirtualHost>
С уважением, Мэтт