Как разрешить сканерам доступ только к index.php, используя robots.txt?

Question

Если я хочу разрешить сканерам доступ только к index.php, будет ли это работать?

User-agent: *
Disallow: /
Allow: /index.php

Answer 1

Да, это будет работать. Вот результат теста Google Webmaster Tool .

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Однако помните, что при такой конфигурации ваша домашняя страница сайта не будет сканироваться, если к странице не будет открыт полный путь. Другими словами, http://www.example.org/ запрещено, а http://www.example.org/index.php разрешено.

Если вы хотите, чтобы ваша домашняя страница была доступна, вот лучшая версия вашего файла.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

Answer 2

User-agent: *

Allow: /index.php
Disallow: /

Answer 3

Попробуйте поменять местами порядок Disallow / Allow:

User-agent: *
Allow: /index.php
Disallow: /

См. Эту информацию из Википедии:

"Тем не менее, чтобы быть совместимым со всеми роботы, если вы хотите, чтобы один файлы внутри в противном случае запрещено каталог, необходимо разместить Разрешить сначала директива, а затем Запретить, например: "

http://en.wikipedia.org/wiki/Robots.txt

Тем не менее, я не ожидал бы, что это будет работать слишком последовательно

Answer 4

User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml

Answer 5

Вы можете использовать Google Robots tool , чтобы оформить заказ. Я никогда не помещал бы секретные каталоги в файл роботов, так как предполагал, что строка, подобная приведенной ниже, будет такой же медовой для некоторых пауков.

Disallow: /secret