Ограничение ссылок JS от сканирования поисковой системы

Question

Я бы хотел запретить Google переходить по ссылкам, которые у меня есть в JS.Я не нашел, как это сделать в robots.txt. Я смотрю не в том месте?

Еще немного информации: я вижу, что Google сканирует эти страницы, хотя ссылки появляются только в JS.Причина, по которой я не хочу, чтобы он сканировал, заключается в том, что этот контент зависит от внешних API, и я не хочу тратить на них свой лимит скорости на сканеры Google и только по запросу пользователя

Answer 1

Google, вероятно, не найдет никаких ссылок, которые вы спрятали в JS, но кто-то еще может ссылаться на то же место.

Хотя это не важны ссылки, это URL-адреса.Просто укажите URL, которые вы не хотите, чтобы поисковые системы посещали в robots.txt.Тот факт, что вы обычно выставляете их браузеру через JS, не имеет значения.

Если вы действительно хотите ограничить доступ к контенту, то, вероятно, недостаточно просто уменьшить вероятность обнаружения, и вам следует установить слой аутентификации (например, защиту паролем).

Answer 2

Прямо от Google ->

http://www.google.com/support/webmasters/bin/answer.py?answer=96569