Заголовок User-Agent является частью RFC7231, которая является улучшенной версией RFC1945, где говорится:
Поле заголовка запроса User-Agent содержит информацию о
пользовательский агент, инициирующий запрос. Это для статистических целей,
отслеживание нарушений протокола и автоматическое распознавание пользователя
агенты для настройки ответов, чтобы избежать конкретного пользователя
агентские ограничения. ПАгентам следует включать это поле в
Запросы. Поле может содержать несколько токенов продукта (раздел 3.8)
и комментарии, идентифицирующие агента и любые субпродукты, которые образуют
значительная часть пользовательского агента. По соглашению токены продукта
перечислены в порядке их значимости для определения
применение.
User-Agent = "User-Agent" ":" 1*( product | comment )
Где product определяется как:
product = token ["/" product-version]
product-version = token
token = 1*<any CHAR except CTLs or separators>
А comment как:
comment = "(" *( ctext | quoted-pair | comment ) ")"
ctext = <any TEXT excluding "(" and ")">