Почему Yahoo! Slurp запрашивающий /1338.aspx? - PullRequest
2 голосов
/ 10 марта 2010
Ip: 67.195.112.247 
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) 

System.Web.HttpException: The file '/1338.aspx' does not exist.

IP: 67.195.112.247
Хост: b3091104.crawl.yahoo.net
Страна: Соединенные Штаты

Ответы [ 2 ]

1 голос
/ 10 марта 2010

Попробуйте поискать в открытой сети "http://yoururl/1138.aspx"", возможно, кто-то создал эту ссылку, и Yahoo пытается перейти по ней.

0 голосов
/ 25 июня 2012

Оказывается, что Slurp проиндексировал пример файла журнала, который я использовал для старого проекта анализатора журнала на

https://bitbucket.org/mrshrinkray/projects/src/fa550b822a52/Statmagic/Statmagic.Testapp/ExampleLogs/ex071110.log

2007-11-10 19:44:35 W3SVC421807 WEB150 216.177.83.9 GET /1338.aspx - 80 - 66.249.70.48 HTTP / 1.1 Mozilla / 5.0 + (совместимо; + Googlebot / 2.1; ++ http://www.google.com/bot.html)

В файле журнала была запись о том, что робот Google запросил URL, я понятия не имею, как Googlebot получил URL-адрес несуществования, но как Слурп любит имитировать робота Google.

...