Если вы хотите проверить, открыто ли диалоговое окно для определенного элемента, вы можете сделать это:
if ($('#elem').closest('.ui-dialog').is(':visible')) {
// do something
}
Или, если вы просто хотите проверить, видим ли сам элемент, вы можете сделать:
if ($('#elem').is(':visible')) {
// do something
}
Или ...
if ($('#elem:visible').length) {
// do something
}