Как я могу узнать, посещают ли мои страницы пауки Google или другие пауки?

Question

Как я могу узнать, посещают ли пауки Google или других пауков мою страницу?

<?php

if ("this is a spider") {
header('Location: index.php');
exit;
}

?>

Answer 1

Вы можете использовать заголовок USER_AGENT для распознавания большинства сканеров поисковых систем, как описано в этом вопросе .

Тем не менее, имейте в виду, что то, что вы, похоже, пытаетесь сделать - представление контента для сканеров иного контента, чем для посетителей-людей, - это техника , также известная как «маскировка» , и не очень хорошо принят поисковыми системами. ,

Насколько я знаю, с Google это может привести к большим штрафам, вплоть до полного исчезновения вашего сайта из индекса.

Я бы позволил этому быть и использовал бы вместо этого легальную оптимизацию SEO.

Answer 2

Вы можете найти значение глобальной переменной: $ _SERVER ['HTTP_USER_AGENT']. Для Google Spider значение будет выглядеть как "Googlebot *"

Функция PHP get_browser также полезна (проверьте, известен ли возвращаемый тип браузера или нет - если нет, то, скорее всего, паук или сканер).

Answer 3

Вы должны проверить пользовательский агент.Вы можете проверить эти страницы для получения дополнительной информации: http://fr.wikipedia.org/wiki/User-Agent#Robots
http://www.user -agents.org /

Затем вам просто нужно проанализировать переменную $ _SERVER ['HTTP_USER_AGENT'].

Answer 4

Хотя пользовательский агент является приличным признаком того, что он является googlebot, лучшим способом было бы использовать то, что обозначено здесь (после проверки пользовательского агента), потому что довольно легко подделать пользовательский агент.Функции gethostbyaddr и gethostbyname были бы хороши для этого.