У меня есть сайт, который должен быть закрыт через месяц.Что мне нужно сделать, это поместить robots.txt, чтобы поисковая система больше не индексировала его.Однако после того, как я поместил файл в корень решения на веб-сервере и попытался проверить, могу ли я получить к нему доступ, набрав www.sitename.com/robots.txt, он просто обновит экран или, возможно, просто вернется кдомашняя страницаМое приложение работает в MVC 3.
То, что я уже пробовал:
- Добавлены модули runAllManagedModulesForAllRequests = "true" в web.config
- Использованы динамические роботы.Txt с использованием IHttpHandler и Controller / Action (на основе этой ссылки файл robots.txt для разных доменов одного и того же сайта )
- Игра с типами MIME (удалено .txt и обратно)
Я ожидаю увидеть содержимое файла robots.txt так же, как когда я получаю доступ к файлу css или js, просто добавив имя файла в URL.