Я сделал это, определив размеры окна, а затем соответственно установив ширину диалога и высоту фрейма. Следующий код может быть не самым хорошим, но он работает и может быть легко изменен, чтобы сделать ширину и высоту в процентах меньше, чем у окна.
var dlg = $("#dialog"); // Get the dialog container.
// Get the window dimensions.
var width = $(window).width();
var height = $(window).height();
// Provide some space between the window edges.
width = width - 50;
height = height - 150; // iframe height will need to be even less to account for space taken up by dialog title bar, buttons, etc.
// Set the iframe height.
$(dlg.children("iframe").get(0)).css("height", height + "px");
dlg.dialog({
modal: true,
height: "auto", // Set the height to auto so that it grows along with the iframe.
width: width
});