Кто-нибудь знает, как определить, поступает ли входящий запрос от робота поисковой системы?Содержат ли заголовки HTML какую-либо конкретную информацию для этого?
Обычно вы можете использовать комбинацию IP и пользовательского агента в заголовках HTTP, чтобы понять это.Здесь есть статья об этом: http://www.jafsoft.com/searchengines/spider_hunting.html
HTTP-запрос содержит поле с именем «пользовательский агент». Это поле указывает, поступил ли запрос от Mozilla или интернет-обозревателя или какого-либо поискового бота. Java, у php есть своя команда для чтения этого поля агента пользователя.
Вы можете использовать jQuery для проверки пользовательского агента из запроса.
Вы можете получить эту информацию через $ .browser
Однако имейте в виду, что это легко подделать.