Удалить страницу из списков Google с помощью файла robots.txt - PullRequest
3 голосов
/ 03 октября 2011

Это правильный способ сделать это - ниже приведен мой текстовый файл, это помешает Google проиндексировать мой каталог администратора, а также oldpage.php?

User-agent: *
Allow: /
Disallow: /admin/
Disallow: http://www.mysite.com/oldpage.php

1 Ответ

7 голосов
/ 03 октября 2011

Да, вы абсолютно правы, за исключением одного файла.

User-agent: *: средство для всех гусеничных

Allow: /: разрешить доступ к полному сайту

Disallow: /admin/: ограничить доступ к папке администратора

Disallow: /oldpage.php: ограничено oldpage.php

...