Запретить Googlebot запускать функцию

Question

Мы внедрили новую функцию «Количество посещений» на нашем сайте, которая сохраняет строку в нашей базе данных Views при доступе к профилю компании на нашем сайте.Это делается с помощью серверной функции "/ addVisit", которая запускается при каждой загрузке страницы (профиля компании).К сожалению, это означает, что у нас было более 400 посещений от Googlebot прошлой ночью.

Поскольку мы хотим, чтобы Google проиндексировал эти страницы, мы не можем исключить робота Googlebot на этих страницах, используя robots.txt.

Я также читал, что запуск этой функции с помощью jQuery $ .get () не остановит Googlebot.

Единственное рабочее решение - исключить известные IP-адреса ботов или есть варианты?

Или, возможно, использование jQuery $ .get (/ addVisit) с robots.txt exclude / addVisit остановит googlebot и другие боты от запуска этой функции?

Answer 1

Если вы обрабатываете свой счет с помощью HTTP-запроса на стороне сервера, вы можете отфильтровать любых пользовательских агентов, которые содержат слово «Googlebot».Быстрый поиск в Google показывает несколько примеров пользовательских агентов Googlebot:

Googlebot/2.1 (+http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Answer 2

Создайте файл robots.txt в корневой директории вашего сайта и добавьте:

User-agent: Google
Disallow: /addVisit

Вы также можете использовать * вместо Google, чтобы /addvisit неполучить индекс на любой двигатель.Поисковые системы всегда начинают искать /robots.txt.Если этот файл существует, он анализирует содержимое и соблюдает применяемые ограничения.

Для получения дополнительной информации см. http://www.robotstxt.org/robotstxt.html.