Я использую MVC для вывода PDF-файла, и чтобы открыть вместо загрузки, я использовал это:
Response.AddHeader("Content-Disposition", "inline; filename=mypdf.pdf");
Для просмотра внутри диалога я выбираю использование iframe внутри div, который стал моим диалогом:
<div class="dialog" style="display:none; overflow:scroll;">
<iframe src="mypdf.pdf"></iframe>
</div>
...
$(".dialog").dialog();
Убедитесь, что в диалоговом окне div для переполнения установлено значение, отличное от 'auto'. В противном случае он не будет отображаться в IE.
Посмотрите эту ссылку, если вам нужен пример: http://helpdesk.toitl.com/data/p/toitl.com/dv/dialog_with_pdf/