Как остановить запросы ботов Google к веб-сервису (ASMX)? - PullRequest
Новая
       17

Как остановить запросы ботов Google к веб-сервису (ASMX)?

0 голосов
/ 20 февраля 2011

У меня есть WS на основе JSON для моего веб-сайта, и я получаю непрерывные запросы от Google Bot на мой файл ASMX.

Как я могу остановить эти запросы?

Примечание : я пытался прочитать об этом здесь , но, похоже, он не предоставляет какого-либо элегантного решения для WS.

Вот исключение, которое я получаю / w HTTP-запрос: 

Logged date (UTC):  20/02/2011 12:00:59
Requested URL:      https://dynamic-subdomain.somedomain.com/ExternalApi/Rest/RateServices.asmx/GetRate

A general error has occured.

Exception:
System.InvalidOperationException: Request format is unrecognized for URL unexpectedly ending in '/GetRate'.
   at System.Web.Services.Protocols.WebServiceHandlerFactory.CoreGetHandler(Type type, HttpContext context, HttpRequest request, HttpResponse response)
   at System.Web.Services.Protocols.WebServiceHandlerFactory.GetHandler(HttpContext context, String verb, String url, String filePath)
   at System.Web.Script.Services.ScriptHandlerFactory.GetHandler(HttpContext context, String requestType, String url, String pathTranslated)
   at System.Web.HttpApplication.MapHttpHandler(HttpContext context, String requestType, VirtualPath path, String pathTranslated, Boolean useAppConfig)
   at System.Web.HttpApplication.MapHandlerExecutionStep.System.Web.HttpApplication.IExecutionStep.Execute()
   at System.Web.HttpApplication.ExecuteStep(IExecutionStep step, Boolean& completedSynchronously)

HTTP Request:
GET /ExternalApi/Rest/RateServices.asmx/GetRate HTTP/1.1
Connection: Keep-alive
Accept: */*
Accept-Encoding: gzip,deflate
From: googlebot(at)googlebot.com
Host: dynamic-subdomain.somedomain.com
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Ответы [ 2 ]

2 голосов
/ 20 февраля 2011

Рассматривали ли вы использование файла robots.txt?

0 голосов
/ 21 февраля 2011

Robots.txt может использоваться, чтобы запретить большинству ботов доступ к определенным действиям с вашего сайта. У Google есть поддержка page для этого.
Взгляните на него, чтобы иметь возможность настроить свой сервер так, как вы хотите.
Инструмент Generate полезен в большинстве случаев. проверить это.

...