Проблема в том, что IE8 ожидает, что вы что-то сделаете с событием click. Приведенный ниже код работает и был протестирован в Firefox, Chrome, IE8. Обратите внимание, что вам нужен void (0), чтобы он заработал.
<a class="dialogBtn" href="javascript:$('#layer1').hide();void(0);" style="text-decoration:none;color:#FFF">OK</a>
Или вы можете использовать этот синтаксис:
<a class="dialogBtn" href="javascript:void(0);" onclick="$('#layer1').hide();" style="text-decoration:none;color:#FFF">OK</a>