Вы можете попробовать добавить div в качестве первого элемента body и отобразить его при открытии диалогового окна. Вот пример CSS для этого div. Это создаст div, покрывающий всю страницу черным цветом с непрозрачностью 70%. Вам нужно будет настроить z-индекс в соответствии с z-индексом диалогового окна и использовать событие open диалогового окна jquery UI, чтобы сделать этот div видимым.
.overlaydiv{ background-color: #000000; display: none; height: 100%; -moz-opacity: 0.7; opacity:.70; filter: alpha(opacity=70); left: 0%; position: fixed; top: 0%; width: 100%; z-index:1001; }
Обязательно добавляйте div сразу после открывающего тега, иначе он не охватит всю страницу.
<body>
<div class="overlaydiv"></div>
...
</body>