Что делает файл robots.txt в проекте PHP?

Question

Что делает файл robots.txt в проекте PHP?

Answer 1

Он используется для указания веб-сканерам, таким как Google и Yahoo, сканировать только части страницы или не сканировать их вообще. См. http://www.robotstxt.org для получения дополнительной информации.

Answer 2

robots.txt относится к роботам поисковых систем и не относится к проектам PHP. в нем содержатся инструкции для роботов, которые сканируют ваш веб-сайт, например, по каким URL вы не хотите сканироваться поисковыми системами и т. д.

см. http://www.webconfs.com/what-is-robots-txt-article-12.php

Answer 3

Не совсем PHP, см .:

Введение в "robots.txt"

"Robots.txt" - обычный текстовый файл что через его имя, имеет особый значение для большинства "благородных" роботы в сети. Определив несколько правила в этом текстовом файле, вы можете научить роботов не сканировать и не индексировать определенные файлы, каталоги в вашем сайт или вообще. Например, вы можете не хочу, чтобы Google сканировал / images каталог вашего сайта, так как это бессмысленно для вас и трата вашего пропускная способность сайта. "Robots.txt" позволяет вы говорите Google только об этом.

Answer 4

robots.txt живет в / вашего сайта.

Когда бот поисковой системы находит ваш сайт, он сначала запрашивает robots.txt, чтобы выяснить, какие URI он может и не может индексировать.

Это сделано для того, чтобы предотвратить (это КОНВЕНЦИЯ, поэтому роботы МОГУТ игнорировать это) определенные части вашего сайта, которые могут появляться в Google / Yahoo (например, ваш чат) ...

Подробнее http://en.wikipedia.org/wiki/Robots_exclusion_standard