Ограничить доступ робота для (определенных) значений строки запроса (параметра)?

Question

Используя robot.txt, можно ли ограничить доступ робота для (определенных) значений строки (параметра) запроса?

т.е.

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

Answer 1

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

Вам нужно только указать URL, которые запрещены. Все остальное разрешено по умолчанию.

Answer 2

Может быть определена только переменная запроса, такая как

Disallow: /default.aspx?id=*

или еще лучше

Disallow: / ? Id=