Способы не дать Google проиндексировать сайты / контент

Question

У меня в руке есть случай, когда я должен быть супер, уверен, что google (или любой yahoo / bing в этом отношении) не индексирует конкретный контент, поэтому, чем избыточнее, тем лучше.

Насколько я знаю, есть 3 способа сделать это, мне интересно, есть ли еще ( избыточность является ключевым здесь ):

1. установить метатег на отсутствие индекса
2. запретить затронутую структуру URL в robots.txt
3. после загрузки контента через ajax

Так что, если это все методы, хорошо, но это будет просто замечательно, если кто-тоесть какая-то идея, как быть еще более уверенным: D

( Я знаю, это немного безумно, но если контент обнаружится в Google, он как-то будет стоить дороже длямоя компания: '- ()

Answer 1

э-э, их намного больше

a) идентифицирует googlebot (работает аналогично другим ботам) http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=80553 и не показывает им содержимое

b) returnна этих страницах с заголовком HTTP 404 / HTTP 410 вместо HTTP 200

c) эти страницы отображаются только для клиентов с файлами cookie / sesssions

d), которые отображают весь контент как изображение (и затем отключаютизображение)

e) отображать весь контент в виде URL-адреса данных изображения (тогда отключение не требуется)

f) пользовательские каналы |в структуре URL (работает в Google, не знаю о других страницах)

g) используйте динамические URL, которые работают только, скажем, в течение 5 минут

, и это лишь некоторые извершина моего разума ... есть, вероятно, больше

Answer 2

Ну, я полагаю, вам может потребоваться какая-то регистрация / аутентификация для просмотра контента.

Мы используем контент после загрузки с помощью метода ajax на моей работе, и он работает довольно хорошо.Вам просто нужно быть уверенным, что вы ничего не вернете, если на тот же самый маршрут Ajax попадет без заголовка xhr.(Мы используем его вместе с авторизацией.)

Я просто не думаю, что в любом случае можно быть полностью уверенным, фактически не блокируя данные за какой-то аутентификацией.И если это будет дорогостоящим для вашей компании, если вы попадете туда, то вы можете серьезно подумать об этом.

Answer 3

Как насчет блокировки IP-адресов от поисковых систем и запросов с пользовательскими агентами поисковых систем в .htaccess?

Может потребоваться дополнительная поддержка списка IP-адресов и пользовательских агентов, но это будет работать.