Создание файла robots.txt для сайта ASP.NET MVC

Question

Я создаю файл robots.txt для своего веб-сайта, но просматривая структуру своего проекта, я не уверен, что запретить.

Нужно ли запрещать стандартные каталоги и файлы .NET MVCкак / App_Data, /web.config, / Controllers, / Models, /Global.asax?Или они еще не будут проиндексированы?

А как насчет каталогов типа / bin и / obj?

Если я хочу запретить страницу, могу ли я запретить /Views/MyPage/Index.cshtml,или / MyPage?

Кроме того, при указании карты сайта в файле robots.txt я могу использовать свой файл Web.sitemap или это должен быть другой файл XML?

Answer 1

'robots.txt' относится к путям, которые они публично видят из веб-сканеров.

В сканере нет ничего особенного: он просто использует HTTP для запроса страниц с вашего сайта точно так же, как пользователь.

Итак, если ваш MVC-сайт правильно настроен, файлы типа /web.config или указанные вами пути не будут видны внешнему миру, поскольку ни IIS, ни ваше приложение не будут настроены для их обслуживания. Даже если бы было указано на эти файлы, паук получит 404 Not Found и продолжит.

Аналогично, ваши .cshtml или .aspx файлы содержимого не будут видны с этими расширениями. Скорее всего, веб-сканер будет точно видеть, что вы будете показывать пользователям.