Должен ли я положить фактический файл .aspx / путь в Robots.txt или маршрут?

Question

Я занимаюсь разработкой приложения для веб-форм asp.net (4.0) и использую маршрутизацию для всех своих URL-адресов.Я не уверен относительно того, должен ли я помещать записи в мой robots.txt следующим образом:

Disallow: /forum/editpost.aspx

(Фактический путь / имя файла)

ИЛИ как это:

Disallow: /forum/edit-post

Я предполагаю, что это последнее, так как на все мои страницы есть ссылки в Интернете, но я подумал, что проверять это безопаснее.

Answer 1

При условии, что вы никогда не будете ссылаться на страницы по физическому пути и не хотите ссылаться на страницы по физическому пути (поскольку вы используете маршрутизацию), вам не нужно помещать физические страницы в файл роботов, так как сканер будет никогда не найди их.

Таким образом, вам просто нужно запретить перенаправленные пути. Если вы беспокоитесь о том, что случайно использовали физический путь в ссылке где-то на вашем сайте, я полагаю, вы можете запретить физические страницы просто для обеспечения безопасности (надеюсь, за один раз).

Answer 2

Используйте любой Googlebot и соавт.увидим, когда они проиндексируют страницу.Robots.txt не выполняется, не анализируется и не обрабатывается на вашей стороне сервера.