Как создать файл robots.txt, который блокирует все, кроме корневого - PullRequest
3 голосов
/ 13 сентября 2011

Как создать действительный файл robots.txt, который блокирует все запросы программы-обходчика, за исключением корневого, то есть лендинга http://www.mysite.com

1 Ответ

1 голос
/ 13 сентября 2011

Предполагая, что ваша страница по умолчанию для корня называется index.htm, я считаю, что это выполнит то, что вы ищете.

User-agent: *
Allow: /index.htm
Disallow: /

Инструменты для веб-мастеров Google имеют некоторую большую помощь для формулировки robots.txt, и если вы используете Инструменты для веб-мастеров, вы также получаете robots.txt строитель / тестер.

...