Как запретить ботов с одной страницы или файла - PullRequest
Новая
       34

Как запретить ботов с одной страницы или файла

0 голосов
/ 21 июля 2011

Как запретить ботов с одной страницы и разрешить сканирование всего другого контента.

Очень важно не ошибиться, поэтому я спрашиваю здесь, я не могу найти окончательный ответ в другом месте.

Это правильно? 

    User-Agent:*
    Disallow: /dir/mypage.html
    Allow: /

1 Ответ

0 голосов
/ 21 июля 2011

Строка Disallow - это все, что нужно. Он заблокирует доступ ко всему, что начинается с "/dir/mypage.html".

Линия Allow лишняя. Значение по умолчанию для robots.txt - Allow: /. В общем, Allow не требуется. Это так, что вы можете отменить доступ к тому, что будет запрещено. Например, допустим, вы хотите запретить доступ к каталогу «/ images», за исключением изображений в подкаталоге «public». Вы бы написали: 

Allow: /images/public
Disallow: /images

Обратите внимание, что порядок важен здесь. Сканеры должны использовать алгоритм «первого совпадения». Если вы сначала написали «Disallow», то сканер предположил бы, что доступ к «/ images / public» был заблокирован.

...