Похоже, что в диалоге jQuery UI есть ошибка, из-за которой closeOnEscape не работает должным образом, так что escape по-прежнему закрывает диалог. Одно из возможных решений - отменить привязку клавиш на оверлее, но, похоже, это не сработает.
Есть ли другое решение, которое работает?
Вот ссылка на ошибку и исправление для 1.6, но 1.5.3 все еще не работает: http://dev.jqueryui.com/ticket/3253