robots.txt disallow: паук

Question

Я смотрю на файл robots.txt сайта. Я хотел бы сделать один раз , и есть такая строка:

User-agent: spider

Disallow: /

Означает ли этоне хотите пауков?У меня сложилось впечатление, что * был использован для всех пауков.Если это правда, это, конечно, остановит пауков, таких как Google.

Answer 1

Это просто говорит агентам, которые называют себя spider достаточно осторожно, чтобы не просматривать сайт.

Это не имеет особого значения.

Файлы

robots.txt используются только роботами, поэтому для исключения всех роботов можно использовать *:

User-Agent: *
Disallow: /