Элементы ссылки указывают на ресурсы, которые в основном используются для презентаций в текущем приложении, тогда как элементы привязки указывают на другие приложения в целом.
Поисковые системы могут и будут пытаться интерпретировать определенные ресурсы элемента ссылки, в том числе, хотя и не обязательно, исключительно для RSS-каналов.
Google будет видеть ссылки и по-прежнему переходить по ним независимо от того, сообщаете ли вы это или нет (и даже запрашивать пути, которые были намеренно исключены robots.txt).
Что вы можете сделать, это использовать rel = "nofollow", чтобы сообщить поисковым системам, что ваше приложение не поддерживает приложение в якоре, фактически отрицая "голос" за это приложение.
<a href="http://www.example.com/" rel="nofollow">external application</a>
Основная цель nofollow - отрицать спам, особенно форумный спам. Все якорные элементы, сгенерированные пользователями, обычно используют nofollow, сводя на нет работу с поисковыми системами и, по сути, эффективные только для того, чтобы поймать людей, которые должны быть невольными, которые не знают разницы между законным контентом и спамом.
Wiki имеет больше информации о nofollow здесь ...
http://en.wikipedia.org/wiki/Nofollow
Вам следует зарезервировать использование элементов ссылок только для таблиц стилей, RSS-каналов, значков и OpenSearch.
Согласно вашему разъяснению, вам нужно использовать элемент meta robots. Есть три варианта ...
archive / noarchive - Сообщает поисковым системам, может ли он предоставлять доступ к кэшированным версиям страницы через поисковую систему напрямую (например, кеш-ссылки Google). Настоятельно рекомендуется использовать noarchive, чтобы не допустить того, чтобы сборщики контента просто обошли вашу безопасность и вместо этого украли контент через Google.
index / noindex - Сообщает поисковым системам, может ли он проиндексировать эту страницу или нет. Это не может помешать поисковику взглянуть на него, однако, если есть контент, который вы не хотите, чтобы он видел.
follow / nofollow - Сообщает поисковым системам, разрешаете ли вы переходить по всем или без ссылок на странице, переопределяя настройки каждого отдельного якоря и элемента ссылки.
Пример: не кэшировать страницу, индексировать и переходить по ссылкам ...
<meta name="robots" content="noarchive, index, follow" />