Синтаксис robots.txt не заботится о том, является ли страница динамической или нет: для нее важна только структура каталогов.
Если вы используете структуру постоянных ссылок, такую как
example.com/blog/year/month/slug
вы должны иметь возможность исключать отдельные страницы, например так:
user-agent: *
disallow: /blog/2011/09/this-is-a-test-entry
вы можете использовать инструменты Google для веб-мастеров, чтобы проверить, правильно ли это происходит.
Помните, что Wordpress хранит статический контент, например:изображения и документы PDF в /wp-content
- вы не можете блокировать их таким образом, если не хотите заблокировать все ресурсы в этом каталоге.