Разрешить и запретить в файле robots.txt - PullRequest
Новая
       40

Разрешить и запретить в файле robots.txt

1 голос
/ 24 июля 2010

Я хочу запретить все файлы и папки на моем сайте от ботов SE, кроме специальной папки и файлов в ней. Могу ли я использовать эти строки в файле robots.txt? 

User-agent: *
Disallow: /
Allow: /thatfolder

Это правильно?

1 Ответ

4 голосов
/ 24 июля 2010 
User-agent:* 
Allow: /thatfolder
Disallow: /

Это должно сделать. (только что изменил порядок)

...