У меня есть веб-приложение MVC.Некоторые части приложения имеют ограничения, и они доступны только при входе в систему на веб-сайте ... по некоторым причинам, я не знаю, веб-сканеры пытаются браузер также адреса, которые нуждаются в аутентификации, получая ошибку Http 404.
Я добавил файл robots.txt в корень моего веб-приложения:
User-agent: *
Disallow: /api/
Disallow: /user/carrier/favorites/
Disallow: /carrier/
Disallow: /find/start/
Sitemap: https://xxx/sitemap.xml
Затем в своем web.config я добавил обработчик:
<add name="RobotsText"
path="robots.txt"
verb="GET"
type="System.Web.Handlers.TransferRequestHandler"
preCondition="integratedMode,runtimeVersionv4.0" />
И я развернулприложение.Я проверил файловых роботов и новый конфиг был развернут.Все вроде бы нормально, но проблема сохраняется .....
В моих журналах полно ошибок такого типа:
System.Web.HttpException
Нет подходящих действийбыл найден на контроллере «MyApp.Web.Controllers.CarrierController».Это может произойти, когда контроллер использует RouteAttribute для маршрутизации, но никакие действия на этом контроллере не соответствуют запросу.
Я думаю, что это сканер, потому что у меня есть эта деталь (это пример ... У меня естьтакже bingbot и другие, ...):
HTTP_USER_AGENT
Mozilla / 5.0 (совместимо; SemrushBot / 2 ~ bl; + http://www.semrush.com/bot.html)
Что не так?
Спасибо