Как я могу предотвратить сканирование роботом Google Ajaxified Links? - PullRequest
Новая
       37

Как я могу предотвратить сканирование роботом Google Ajaxified Links?

2 голосов
/ 18 сентября 2009

У меня есть куча отлаженных ссылок, которые делают такие вещи, как голосование вверх, голосование вниз, пометка постстандартной модерации сообщества.

Проблема в том, что googlebot сканирует эти ссылки и голосует вверх, голосует вниз и отмечает элементы.

Помешает ли добавление этого файла в robots.txt роботу Google сканировать эти ссылки? Или мне нужно еще кое-что сделать? 

User-agent: Googlebot 
Disallow: /item/*/flag/
Disallow: /item/*/vote/

Спасибо!

РЕДАКТИРОВАТЬ: изменен метод для публикации, и googlebot по-прежнему помечает сообщения.

Синтаксис: 

<a href="onclick="$.ajax({data:'authenticity_token=' + encodeURIComponent('blahblahblah'), dataType:'script', type:'post', url:'/item/flag/236?method=post'}); return false;">

есть мысли?

Ответы [ 2 ]

4 голосов
/ 18 сентября 2009

Вы должны изменить эти ссылки на POST, а не GET, тогда вам не придется беспокоиться о сканерах. Для этого есть и другие причины: веб-кеши могут решить кэшировать GET и, следовательно, фактически не попасть на ваш сервер, когда пользователь щелкает ссылку Они не будут кешировать POST.

0 голосов
/ 03 января 2013

Помимо отправки им запросов POST, поскольку они являются преобразующими, гостевые пользователи (люди, которые не вошли в систему) не должны иметь права голоса на модерации сообщества. Так что просто исключите их из голосования, и это решит вашу проблему с ботом.

...