Вы пробовали это?:
$(window.parent).dialog('close');
Я никогда не использовал диалоговое окно jQuery UI, поэтому я не уверен, что это действительно сработает. Мне кажется, что вам нужно сохранить ссылку на диалог, который вы создали, чтобы вы могли использовать его для закрытия диалога.
Обратите внимание, вы также можете искать элементы в DOM родителя по:
$('#someParentDOMElement' , window.parent);
Конечно, все это предполагает, что сайт, который вы загружаете в iframe
, находится в том же домене, что и родительский документ. Если нет, то документ в вашем iframe
вообще не будет иметь доступа к родительскому DOM.