Robots.txt приоритетный вопрос

Question

Если у меня есть эти строки в robots.txt:

Disallow /folder/
Allow /folder/filename.php

Будет ли разрешено имя файла .php?

Какой порядок в Google определяет приоритет строк?

Что будет здесь, например?:

Allow /
Disallow /

Я в основном ссылаюсь на Google здесь как на поисковик.

Спасибо

Answer 1

Для вашего первого примера, да, файл /folder/filename.php будет разрешен, так как Google установит приоритет для наиболее конкретного правила.См., Например, здесь или , см. Статью Википедии для получения более подробной информации.

Более того, Google имеет подробную документацию о том, как он использует robots.txt вместо здесь .

Редактировать: Для второго примера приоритет будет Allow согласно цитате Википедии, которую Байрон Уитлок опубликовал в своем ответе.

Answer 2

Зависит от поисковой системы:

В то время как при стандартной реализации первый соответствующий шаблон robots.txt всегда побеждает, реализация Google отличается тем, что разрешить шаблоны с равные или более символов в директивный путь победит совпадение Запретить образец. Bing использует Разрешить или запретить директиву, которая самый конкретный.

Для того, чтобы быть совместимым со всеми роботы, если кто-то хочет разрешить один файлы внутри в противном случае запрещено каталог, необходимо разместить сначала разрешить директиву (ы), а затем по запрету.

http://en.wikipedia.org/wiki/Robots_exclusion_standard