Режим документа - это то, что браузер использует для отображения страницы: IE9, IE8, IE7 или Quirks.
Режим браузера устанавливает, как браузер идентифицирует себя на веб-сервере и в JavaScript.
С точки зрения тестирования, кажется излишне запутанным, что это два отдельных параметра, и вы обычно хотите изменить оба, например, установить режим браузера на IE8 и режим документа на IE8, чтобы IE9 притворился IE8.
Существует также опция просмотра совместимости Internet Explorer 9 для режима браузера. Это похоже на режим IE7, за исключением того, что в строке user-agent также указано «Trident / 5.0» (Trident - это механизм разметки IE).