Почему яндекс возвращает 405, а гугл возвращает 200 ок? - PullRequest
Новая
       17

Почему яндекс возвращает 405, а гугл возвращает 200 ок?

0 голосов
/ 03 ноября 2010

У меня следующая проблема с сайтом http://huti.ru. При попытке добавить любую из его страниц в http://webmaster.yandex.ru/addurl.xml (Яндекс - русский поисковик) пишет "Сервер возвращает код состояния http 405 (ожидаемый код)200) «.Что может повлечь за собой такое разное поведение для хулиганов и сканера Яндекса?(Google индексирует как обычно)

Окружающая среда: tomcat, java 6

Ответы [ 3 ]

3 голосов
/ 03 ноября 2010

Ваш сервер не разрешает запросы HEAD.Кажется, что робот сначала пытается ГОЛОВУ до фактического GET.

Как http://www.w3.org/Protocols/rfc2616/rfc2616-sec9.html заявляет: HEAD должен быть идентичен GET, за исключением того, что он никогда не возвращает тело сообщения, а только заголовки ответадля конкретного запроса.

Примечание. Я сделал простой запрос 

HEAD / HTTP/1.0

.То же самое с HTTP/1.1 + Host: huti.ru.

1 голос
/ 03 ноября 2010

Проверьте в журналах вашего сервера фактическое содержание ответа на запрос Яндекса.

HTTP 405 - это метод не разрешен и обычно возвращается, если пользовательский агент использовал HTTPглагол не поддерживается для конкретного ресурса.

Например, используя Fiddler , я отправил несколько запросов к http://huti.ru, и получил 200 ответов для HEAD, GET и POST, но я получил 405 за TRACE.Вполне возможно, что Яндекс выдаст либо TRACE, либо OPTIONS, прежде чем сделать запрос на фактическую страницу в виде пинга, чтобы определить, существует ли страница.

Примечание: @smilingthax упомянул, что ваш сервер возвращает405 HEAD.Однако выполнение следующего запроса от Fiddler помогло мне: 

HEAD http://huti.ru/ HTTP/1.1
Host: huti.ru
Proxy-Connection: keep-alive
Accept: application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.10 (KHTML, like Gecko) Chrome/8.0.552.23 Safari/534.10
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3

Таким образом, ваша проблема может быть связана с HEAD запросами с определенными заголовками.

0 голосов
/ 03 ноября 2010

Я думаю, что 405 означает, что страница уже проиндексирована.

...