Боты Google делают неправильные запросы? - PullRequest
Новая
       28

Боты Google делают неправильные запросы?

3 голосов
/ 25 мая 2011

Я создаю компонент для запрета IP-адресов спам-ботов на основе недопустимых запросов, которые они делают постоянно и которые ни один пользователь не может сделать по ошибке.

Например, они всегда пытаютсяотправлять пустые формы или отправлять запросы GET на URL-адреса, которые должны принимать только запросы POST.

Я хочу знать, есть ли у меня риск запрета ботов Google при этом.они достаточно умны, чтобы не сканировать каждый URL, с которым они сталкиваются?Они избегают формы URL?

1 Ответ

1 голос
/ 31 мая 2011

Googlebot следует по ссылкам. Он будет запрашивать только те страницы, на которые он находит ссылку. Конечно, эта ссылка не имеет для размещения на вашем сайте и, следовательно, может не находиться под вашим прямым контролем.

Googlebot будет только делать запросы GET, потому что, согласно RFC, запросы GET не должны иметь побочных эффектов. Таким образом, они не могут изменить состояние на сервере. Подсказка: никогда не используйте ссылку (например, «получить») для выполнения или подтверждения каких-либо изменений на вашем сайте, иначе любой веб-паук может вызвать его.

Каждый ваш CGI, который меняет состояние вашего сайта, должен проверять, что входящий запрос действительно POST, просто чтобы быть в безопасности.

...