Что называется первым - robots.txt или mod_rewrite в htaccess - PullRequest
2 голосов
/ 15 марта 2011

Мне нужна помощь. Я не уверен в заказе по запросу для mod_rewrite и robots.txt.

Некоторые URL-адреса принадлежат правилу перезаписи:

/index.php?id=123 to /home

Другие URL не переписываются:

/index.php?id=444

Я сделал эту запись в моем файле robots.txt:

User-agent: *
Disallow: /index.php?id

Будет ли сайт с / home проиндексирован поисковыми системами?

1 Ответ

4 голосов
/ 15 марта 2011

Файл robots.txt интерпретируется клиентом (пауком), и они не знают, что вы переписываете в своей системе.Таким образом, пауки не будут получать URL-адреса с вашего сайта, если они выглядят как шаблон в robots.txt, но будут, если они найдут тот же контент через /home.

...