Интересный вопрос. На одном уровне, возможно, он изначально рассматривался как устройство возможностей, похожее на пользовательский агент по запросу (browscap и т. Д.). В действительности ни один из них не является действительно полезным в этом отношении, и большая часть кода теперь использует другие средства для проверки параметров. И во многих отношениях сервер (косвенно) контролирует запросы от клиентов с хорошим поведением (по крайней мере, если он оказывает влияние).
В наши дни это иногда рассматривается как проблема безопасности, и я знаю много мест, которые блокируют этот заголовок в html-трафике. Но для не html (но все еще http) трафика (такого как веб-сервисы) он все еще может служить полезной цели управления версиями (хотя в таких случаях вы часто видите заголовок управления версиями для конкретного продукта).