Вы можете установить эффект для show
/ hide
с помощью стандартного диалогового окна jQuery UI следующим образом:
$( "#dialog" ).dialog({
autoOpen: false,
show: "scale",
hide: "explode"
});
Вы можете просмотреть различные доступные переходы здесь .
Возможно, наиболее близкими к тому, что вы ищете, являются масштабирование / слойка / передача, предварительный просмотр их на jsfiddle .
Если это не удовлетворяет тому, что вы ищетедля, я бы рекомендовал перейти с параметром flowplayer тогда.Пример диалогового окна с эффектом яблока: http://jsfiddle.net/niklasvh/D3ZJk/