Вероятно, лучший способ - это не пытаться автоматически определять среду, которая менее способна обрабатывать некоторые визуальные эффекты, но дать пользователю возможность переключиться в менее ресурсоемкий режим с возможностью выбора где-то на странице.
Большинство пользователей серверов и удаленных рабочих столов более опытны, чем обычные пользователи настольных компьютеров, и чаще ищут возможные улучшения производительности (лично я инстинктивно отключаю все визуальные эффекты, когда подключаюсь через удаленный рабочий стол к машине), поэтому будет готов принять опцию и сделать это с умом, это не отвлечет других.
Если вы действительно хотите определить настройки пользовательского агента, вы можете попытаться измерить производительность javascript или глубину цвета, как вы написали. Но я бы действительно избежал этого, если бы ты мог.