Класс, используемый в значке закрытия:
.ui-dialog-titlebar-close
.ui-icon-closethick
Это сгенерированная разметка
<a href="#" class="ui-dialog-titlebar-close ui-corner-all" role="button">
<span class="ui-icon ui-icon-closethick">close</span>
</a>
Я думаю, вы должны переопределить эти два класса, чтобы изменить внешний вид кнопки.