robots.txt htaccess заблокировать Google - PullRequest
Новая
       13

robots.txt htaccess заблокировать Google

4 голосов
/ 19 сентября 2011

В моем файле .htaccess у меня есть: 

<Files ~ "\.(tpl|txt)$">
Order deny,allow
Deny from all
</Files>

Это запрещает чтение любого текстового файла, но поисковая система Google выдает мне следующую ошибку: 

robots.txt Status

http://mysite/robots.txt

18 minutes ago  302 (Moved temporarily)

КакМогу ли я изменить .htaccess, чтобы разрешить Google читать robots.txt и запретить всем остальным доступ к текстовым файлам?

1 Ответ

6 голосов
/ 20 сентября 2011

Используйте это: 

<Files ~ "\.(tpl|txt)$">
  Order deny,allow
  Deny from all
  SetEnvIfNoCase User-Agent "Googlebot" goodbot
  Allow from env=goodbot
</Files>
...