Я немного догадываюсь здесь, но вы можете получить размер окна, используя:
var windowWidth = $(window).width();
var windowHeight = $(window).height();
Итак, я бы взял это и передал это значение в диалог jQuery.
$( ".dialog" ).dialog({ height: windowHeight, width: windowWidth });