Вы можете исправить проблему, заменив оператор
$("#jqg_alrt").focus();
, который находится сразу после
$.jgrid.viewModal("#"+alertIDs.themodal,{gbox:"#gbox_"+$t.p.id,jqm:true});
до
$("#"+alertIDs.modalhead+">a.ui-jqdialog-titlebar-close").focus();
или
$("#"+$.jgrid.jqID(alertIDs.modalhead)+">a.ui-jqdialog-titlebar-close").focus();
в jquery.jqGrid.src.js
. Из этого следует, что кнопка «Закрыть» в заголовке сообщения выбрана, и нажатие Enter закроет диалоговое окно