Относится ли robots.txt только к файлам / каталогам или к URL-адресам? - PullRequest
0 голосов
/ 29 сентября 2011

Я могу использовать robots.txt, чтобы остановить индексацию папок с изображениями / html-файлами.Но как насчет динамических страниц, например, предотвращения индексации определенных страниц WordPress?

1 Ответ

1 голос
/ 29 сентября 2011

Синтаксис robots.txt не заботится о том, является ли страница динамической или нет: для нее важна только структура каталогов.

Если вы используете структуру постоянных ссылок, такую ​​как

example.com/blog/year/month/slug

вы должны иметь возможность исключать отдельные страницы, например так:

user-agent: *
disallow: /blog/2011/09/this-is-a-test-entry

вы можете использовать инструменты Google для веб-мастеров, чтобы проверить, правильно ли это происходит.

Помните, что Wordpress хранит статический контент, например:изображения и документы PDF в /wp-content - вы не можете блокировать их таким образом, если не хотите заблокировать все ресурсы в этом каталоге.

...