Робот Google получает доступ к страницам .aspx, он должен иметь доступ только к SEO-дружественным URL

Question

Googlebot получает доступ к .aspx страницам на моем веб-сайте, например, http://mysite.com/thepage.apx?id=32

Я использовал модуль URL Intellgencia для SEO-ориентированных URL-адресов, и на моем веб-сайте также есть ссылки, которые представляют дружественные URL-адреса (или URL-адреса без расширений), например: http://mysite.com/thepage/32.

Однако googlebot обращается к исходным URL-адресам (http://mysite.com/thepage.apx?id=32).

В файле robot.txt я поместил следующий код:

disallow:* .aspx

Мой вопрос заключается в том, будет ли он скрывать все страницы с .aspx страницами и дружественными URL-адресами (указывая на одинаковые .aspx страницы) или скрывать страницы только с расширениями .aspx.

Сводка:
googlebot обращается к той же странице с двумя URL-адресами:

1. С оригинальным путем, например, somesite / thepage.aspx? Id = xx
2. С дружественным URL-адресом somesite/ somepage / xx Я хочу, чтобы googlebot имел доступ только к дружественным URL-адресам. Я использую asp.net 2.0, а дружественные URL-адреса отображаются в web.config с использованием intellgencia dll.

Код в web.config с модулем Intellgencia.

<rewriter>
    <rewrite url="/category/(.+)" to="/categoryPage.aspx?Id=$1"/></rewrite>
</rewriter>

Answer 1

Я думаю, что в вашем операторе Disallow есть опечатки - оно должно читаться как Disallow: /*.aspx$ - см. Эту статью http://www.google.com/support/webmasters/bin/answer.py?answer=156449 в инструментах Google для веб-мастеров и прокрутите вниз до раздела, посвященного сопоставлению с образцом.

Answer 2

Я думаю, что ваше отображение URL неверно.Ваши URL-адреса aspx также должны отображаться.