Можно ли использовать маркер пользовательского агента Googlebot для его обнаружения, а не полную строку пользовательского агента?

Question

От: https://support.google.com/webmasters/answer/1061943?hl=en

В следующей таблице показаны сканеры, используемые различными продуктами и службами в Google:

• Маркер пользовательского агента используется в строке User-agent: в robots.txt, чтобы соответствовать типу сканера при написании правил сканирования для вашего сайта. Некоторые сканеры имеют более одного токена, как показано в таблице;для применения правила необходимо сопоставить только один токен сканера. Этот список не полный, но охватывает большинство сканеров, которые вы можете увидеть на своем веб-сайте.

• Полная строка агента пользователя - полное описание сканера, ипоявляется в запросе и ваши веб-журналы.

ВОПРОС

СВ приведенном выше фрагменте мы видим, что можно использовать маркер User agent внутри файла robots.txt , чтобы сопоставить его и, следовательно, обнаружить сканер.

Я хотел быиспользовать маркер User agent на моем сервере для обнаружения запросов сканера Googlebot. Поэтому мне не нужно жестко кодировать полную строку пользовательского агента .

Но есть ли токен пользовательского агента в request headers? Можно ли его использовать или я должен придерживаться строки full user agent ?

Answer 1

Если вы сравните значения в столбцах «Маркер пользовательского агента» и «Полная строка агента пользователя», вы увидите, что «маркер продукта» также доступен в «Полной строке агента пользователя». Таким образом, вы можете проверить, содержит ли «Полная строка пользовательского агента» «Токен пользовательского агента».

Числа в «Полной строке пользовательского агента» будут меняться в будущем чаще, чем «токен продукта».